Регрессия общего вида

Кроме рассмотренных видов регрессии, можно использовать любые функции y(x) в качестве модели для приближения данных (x_i,y_i), например, экспоненту, логарифм и т.п.. Конкретный вид функции выбирается из физических соображений. Главным требованием является зависимость функции от набора параметров s₁, s₂, ... . Именно подбор этих параметров и решает задачу регрессии, приближая данные нужной функцией из семейства y(x,s). Используйте соответствующий вид регрессии, если хорошо представляете себе, какой зависимостью описывается ваш массив данных. Когда тип регрессии плохо отражает последовательность данных, то ее результат бывает неудовлетворительным, что часто сказывается и на работе численного алгоритма.

Основная вычислительная идея регрессии общего вида заключается в минимизации суммы квадратов невязок в узлах:
s = arg min {|y(x_i,s) - y_i|²}
(по i предполагается суммирование). Как видно, задача регрессии общего вида является вычислительной задачей нахождения минимума функции, где минимизация проводится по переменным s₁, s₂, ... - т.е. по набору параметров модельной зависимости y(x,s). Реализация численных алгоритмов поиска экстремума отличается от приведенных выше простых вариантов регрессии тем, что для них, помимо массива данных (x_i,y_i), требуется задать некоторые начальные значения коэффициентов s₁, s₂, ... .  Поскольку задача регрессии ставится как задача на глобальный минимум, а результат минимизации может быть различным  в зависимости от выбора начальных значений, то (в случае, когда примерная локализация решения отсутствует) требуется применять сканирование по параметрам s₁, s₂, ... .