Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

'''Линейный классификатор''' — алгоритм классификации, основанный на построении линейной разделяющей поверхности. {{S|В случае}} двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. == Определение == Пусть объекты описываются ''n'' числовыми признаками <tex>f_j:\: X\to\mathbb{R}</tex>, <tex>j=1,\ldots,n</tex>; Тогда пространство признаковых описаний объектов есть <tex>X=\mathbb{R}</tex>. Пусть <tex>Y</tex> — конечное множество номеров (имён, меток) классов. В случае двух классов, <tex>Y=\{-1,+1\}</tex>, ''линейным классификатором'' называется алгоритм классификации <tex>a:\; X\to Y</tex>, имеющий вид <center> <tex>a(x) = \mathrm{sign}\left( \sum_{j=1}^n w_j f_j(x) - w_0 \right) = \mathrm{sign}\langle x,w \rangle,</tex> </center> где <tex>w_j</tex> — веса признаков, <tex>w_0</tex> — порог принятия решения, <tex>w=(w_0,w_1,\ldots,w_n)</tex> — вектор весов, <tex>\langle x,w \rangle</tex> — скалярное произведение признакового описания объекта на вектор весов. Предполагается, что искусственно введён «константный» нулевой признак: <tex>f_{0}(x)\equiv -1</tex>. В случае произвольного числа классов ''линейный классификатор'' определяется выражением <center> <tex>a(x) = \mathrm{arg}\max_{y\in Y} \sum_{j=1}^n w_{yj} f_j(x) = \mathrm{arg}\max_{y\in Y} \langle x,w_y \rangle,</tex> </center> где каждому классу соотвествует свой вектор весов <tex>w_y</tex>. Задача настройки (обучения) классификатора заключается в том, чтобы по заданной [[выборка|обучающей выборке]] пар «объект, ответ» <tex>X^m = \{(x_1,y_1),\dots,(x_m,y_m)\}</tex>. построить алгоритм <tex>a:\; X\to Y</tex> указанного вида, минимизирующий фунционал [[эмпирический риск|эмпирического риска]]: <center> <tex>Q(w,x) = \sum_{i=1}^m \bigl[ a(x_i) \neq y_i \bigr].</tex> </center> Методы обучения линейных классификаторов различаются подходами к решению данной оптимизационной задачи. == Понятие отступа == В случае двух классов, <tex>Y=\{-1,+1\}</tex>, удобно определить для произвольного обучающего объекта <tex>x_i\in X^m</tex> величину отступа (margin): <center> <tex>M(x_i) = y_i \langle x_i,w \rangle.</tex> </center> Отступ <tex>M(x_i)</tex> отрицателен тогда и только тогда, когда алгоритм <tex>a(x)</tex> допускает ошибку на объекте&nbsp;<tex>x_i</tex>. Чем меньше значение отступа, тем «более ошибочным» является значение скалярного произведения <tex>\langle x_i,w \rangle</tex>. Это наблюдение позволяет обобщить фунционал [[эмпирический риск|эмпирического риска]]: <center> <tex>Q(w,x) = \sum_{i=1}^m L\bigl( M(x_i) \bigr),</tex> </center> где <tex>L(M)</tex> — функция потерь, зависящая от отступа. Обычно используются непрерывные монотонно убывающие функции <tex>L(M)</tex>, что позволяет применять численные методы оптимизации для настройки весов линейного классификатора. Методы обучения линейных классификаторов различаются, в первую очередь, выбором функции <tex>L(M)</tex>. == Методы обучения линейных классификаторов == *[[Линейный дискриминант Фишера]] *[[Однослойный персептрон]] *[[Метод опорных векторов]] *[[Логистическая регрессия]] *[[Метод ближайшего соседа]] реализует линейный классификатор, если в обучающей выборке оставить по одному объекту каждого класса. == Литература == # ''Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д.'' Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989. # {{П:Вапник 74}} # {{П:Вапник 79}} # ''Дуда Р., Харт П.'' Распознавание образов и анализ сцен. — М.: Мир, 1976. # {{П:Hastie 2001 The Elements of Statistical Learning}} == Ссылки == * [[Машинное обучение (курс лекций, К.В.Воронцов)]] {{stub}} [[Категория:Линейные классификаторы]] [[Категория:Машинное обучение]] [[Категория:Классификация]] [[Категория:Энциклопедия анализа данных]]

• Шаблон:Nobr
• Шаблон:Stub
• Шаблон:TOCright
• Шаблон:ВсеАвторы
• Шаблон:Заготовка
• Шаблон:Книга
• Шаблон:Монография
• Шаблон:Переводы
• Шаблон:Подробнее
• Публикация:Hastie 2001 The Elements of Statistical Learning
• Публикация:Вапник 1974 Теория распознавания образов
• Публикация:Вапник 1979 Восстановление зависимостей
• Публикация:Вапник 74
• Публикация:Вапник 79

Возврат к странице Линейный классификатор.