Участник:Denis Kochedykov

Материал из MachineLearning.

Версия 09:46, 12 июня 2009

Кочедыков Денис Алексеевич, Forecsys, ВЦ РАН(соискатель). Научный руководитель Воронцов К.В.. Области научных интересов теория машинного обучения, оценивание обобщающей способности, комбинаторика, статистика. Написать письмо.

Публикации

Тезисы

1. Кочедыков Д.А., Ивахненко А.А., Воронцов К.В. "Система кредитного скоринга на основе логических алгоритмов классификации" // Математические методы распознавания образов-12. — М.: МАКС Пресс, 2005. — С. 349–353.
2. Кочедыков Д.А., Воронцов К.В. "О поиске оптимальных сочетаний управляющих параметров в логических алгоритмах классификации" //Тезисы докладов международной конференции «Интеллектуализация обработки информации» (ИОИ-2006) - Симферополь, 2006 - С. 117–119.
3. Кочедыков Д.А., Ивахненко А.А., Воронцов К.В. "Применение логических алгоритмов классификации в задачах кредитного скоринга и управления риском кредитного портфеля банка" // Математические методы распознавания образов-13. — М.: МАКС Пресс, 2007. — С. 484–488.
4. Кочедыков Д.А., Воронцов К.В. "К определению понятия информативности логических закономерностей в задачах классификации" //Труды 50-ой научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук» - 2008г - т.2 - с 100-102
5. Кочедыков Д.А., "Комбинаторные оценки обобщающей способности методов обучения по прецедентам с расслоением по наблюдаемой частоте ошибок" //Труды 51-ой научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук» - 2009г

Статьи

Структура кандидатской диссертации

Тема: "Структура близости и расслоения семейства алгоритмов и обобщающая способность"

1. Введение
   1. Актуальность
   2. Новизна: учет эффекта сходства и расслоения в оценках обобщающей способности в комбинаторном подходе
   3. Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит)
   4. Содержание работы по главам и личный вклад.
2. Обзорная часть
   1. Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д.
   2. Слабая вероятностная аксиоматика
   3. Постановка задачи диссертации: учет расслоения и связности семейства в оценках обобщающей способности
3. Некоторые известные оценки, переведенные в слабую аксиоматику (содержательная глава №1)
   1. Вапник
   2. Лэнгфорд
   3. Силл
   4. Возможно еще какие-то оценки
4. Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.)
   1. Связное семейство - верхняя оценка вероятности возникновения переобучения посредством неравенств типа Бонферрони
   2. Цепочка алгоритмов без расслоения
      1. Точное значение вероятности возникновения переобучения в цепочке
      2. Точное значение вероятности пеореобучения метода МЭР
   3. Семейство, состоящее из цепочек без расслоения
      1. Верхняя оценка вероятности переобучения метода МЭР
      2. Верхняя оценка вероятности возникновения переобучения
5. Эксперименты
   1. Сравнение различных оценок

Состояние работы на текущий момент

1. В обзорной части
   • Частично есть описание постановки задачи.
   • Есть описание слабой вероятностной аксиоматики.
   • Отсутствует обзор современного состояния по теме.
2. В главе про перевод известных оценок в комбинаторный вид
   • Естественно, есть стандартная оценка Вапника.
   • Из Лэнгфорда есть оценки Occam Razor, Shell, можно считать, что есть Microchoice, т.к. он переводится тривиально.
   • Есть оценка Силла для связных семейств.
   • Других оценок пока нет.
3. В главе про эффект сходства
   • Есть верхняя оценка вероятности возникновения переобучения в связном семействе через дерево на алгоритмах
   • Есть оценка учитывающая число соседей у каждого алгоритма в семействе
   • Остального еще нет.

Ближайший план работы

1. Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства.
2. Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет оценка с полным учетом структуры сходства семейства, но без учета метода обучения.
3. Сравнить эти две последние оценки и оценку union bound(Вапник) - определить какой сравнительный эффект дают учет 1) структуры сходства и 2) метода обучения.
4. Обычным union bound'ом получить для каждой из последних двух точных оценок верхнюю оценку для семейства состоящего из цепочек без расслоения. (здесь пока не совсем понятна практическая применимость - ведь слои в реальных семействах не обязательно представляют из себя цепочки).
   Для использования union bound'а нужно знать профиль семейства - число алгоритмов в каждом слое(цепочке). Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда.

См. также

• Расслоение_и_сходство_алгоритмов_(виртуальный_семинар)