Непараметрическая регрессия

Материал из MachineLearning.

Версия от 15:40, 11 января 2009; SL (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья в настоящий момент дорабатывается.
SL 18:40, 11 января 2009 (MSK)

Непараметрическая регрессия, в отличие от параметрических подходов, использует модель, которая не описывается конечным числом параметров.

Введение

Цель регрессионного анализа состоит в осуществлении разумной аппроксимации неизвестной функции отклика $Y$ . За счет уменьшения ошибок наблюдения становится возможным сконцентрировать внимание на важных деталях средней зависимости $Y$ от $X$ при ее интерпретации.

Отличие от параметрических подходов

Процедура аппроксимации обычно называется сглаживанием. По существу эта аппроксимация средней функции может быть выполнена двумя способами. Довольно часто используется параметрический подход, заключающийся в предположении, что средняя кривая $Y$ имеет некоторую предписанную функциональную форму, например, это прямая линия с неизвестными свободным членом и наклоном. Альтернативой этому может служить попытка оценить $Y$ непараметрически, без указания конкретного ее вида. Первый подход к анализу регрессионной зависимости называется параметрическим, поскольку предполагается, что вид функции полностью описывается конечным набором параметров. Типичный пример параметрической модели представляет собой полиномиальное уравнение регрессии, когда параметрами являются коэффициенты при неизвестных. Однако при параметрическом подходе молчаливо предполагается, что кривая может быть представлена в терминах параметрической модели, или, по крайней мере, имеется уверенность в том, что ошибка аппроксимации для наилучшего параметрического приближения пренебрежимо мала. Наоборот, в непараметрической модели регрессионной зависимости не произ водится проектирования данных в "прокрустово ложе" фиксированной параметризации. Предварительное задание параметрической модели может оказаться слишком ограничительным или чересчур малой размерности для аппроксимации непредвиденных характеристик, в то время как непараметрическое сглаживание предоставляет гибкие средства анализа неизвестных регрессионных зависимостей. Непараметрический подход приводит, таким образом, к гибкому функциональному виду кривой регрессии.

Разновидности

Одним из простейших методов является ядерное сглаживание. Этот метод прост в применении, не требует дополнительных математических сведений и понятен на интуитивном уровне. Ядерное сглаживание во многих случаях является подходящим средством. Существуют разнообразные альтернативные методы сглаживания такие, например, как сплайны, но в [Хардле В, гл3] показывается, что в асимптотическом смысле они эквивалентны ядерному сглаживанию.