В чем разница между numpy.linalg.lstsq и scipy.linalg.lstsq?

lstsq пытается решить Ax=b минимизацию |b - Ax|. Оба scipy и numpy предоставляют функцию linalg.lstsq с очень похожим интерфейсом. В документации не упоминается, какой тип алгоритма используется, ни для scipy.linalg.lstsq, ни для numpy.linalg.lstsq, но, похоже, это почти то же самое.

Реализация, по-видимому, отличается от scipy.linalg.lstsq и numpy.linalg.lstsq. Оба, кажется, используют LAPACK, оба алгоритма, похоже, используют SVD.

Где разница? Какой из них я должен использовать?

Примечание. не путайте linalg.lstsq с scipy.optimize.leastsq, который также может решить проблемы нелинейной оптимизации.

Ответ 1

Если я правильно прочитал исходный код (Numpy 1.8.2, Scipy 0.14.1 ), numpy.linalg.lstsq() использует процедуру LAPACK xGELSD и scipy.linalg.lstsq() использует xGELSS.

LAPACK Manual Sec. 2.4 утверждает

Подпрограмма xGELSD значительно быстрее, чем ее старший аналог xGELSS, особенно для больших проблем, но может потребовать несколько больше рабочего пространства в зависимости от размеров матрицы.

Это означает, что Numpy работает быстрее, но использует больше памяти.

Обновление августа 2017 года:

Scipy теперь использует xGELSD по умолчанию https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.lstsq.html

Ответ 2

Numpy 1.13 - Июнь 2017

Начиная с Numpy 1.13 и Scipy 0.19, и scipy.linalg.lstsq() и numpy.linalg.lstsq() вызывает по умолчанию тот же самый код LAPACK DSGELD (см. LAPACK).

Однако текущее важное различие между двумя функциями заключается в принятом стандартном параметре RCOND LAPACK по умолчанию (называемом rcond от Numpy и cond от Scipy), который определяет порог для сингулярных значений.

Scipy использует хороший и надежный порог по умолчанию RCOND=eps*max(A.shape)*S[0], где S[0] является наибольшим сингулярным значением A, а Numpy использует пороговое значение по умолчанию RCOND=-1, что соответствует установке в LAPACK порога, равного точность машины, независимо от значений A.

По умолчанию подход по принципу "Numpy" практически бесполезен в реалистичных приложениях и, как правило, приводит к очень вырожденному решению, когда A почти не имеет ранга, теряя точность разложения сингулярных значений SVD, используемого DSGELD. Это означает, что в Numpy необязательный параметр rcond должен быть всегда.

Обновление: Numpy 1.14 - Январь 2018

Я сообщил о некорректном по умолчанию rcond (см. выше раздел) в numpy.linalg.lstsq(), и теперь функция a FutureWarning в Numpy 1.14 (см. Будущие изменения).

Будущее поведение будет идентичным как в scipy.linalg.lstsq(), так и в numpy.linalg.lstsq(). Другими словами, Scipy и Numpy будут использовать не только один и тот же код LAPACK, но также использовать те же значения по умолчанию.

Чтобы начать использовать правильное (то есть будущее) значение по умолчанию в Numpy 1.14, следует вызвать numpy.linalg.lstsq() с явным rcond=None.