система для массового тестирования алгоритмов
классификации на реальных задачах

Напомнить

  Войти  
Регистрация позволяет загружать и тестировать свои алгоритмы и задачи, а также публиковать результаты тестирования. В общем, регистрация — полезная штука. Рекомендуем :)
Зарегистрироваться
  Вход и регистрация

Отчет: Тест простейших алгоритмов

demo, 22 Сен 2009 11:03
[Автор не указал описание отчета]
на разбиении отображать доверительный интервал
— Средняя ошибка на разбиениях, полученных при скользящем контроле.
— Переобученность - это разность между средними ошибками на контроле и на обучении. Чем больше разность, тем больше вероятность переобучения.
— Среднее смещение характеризует степень несогласованности данного объекта с алгоритмом обучения. Чем меньше смещение, тем лучше алгоритм подходит для решения конкретной задачи.
— Средняя вариация характеризует степень изменчивости результата обучения на данном объекте при варьировании состава обучающей выборки. Чем меньше вариация, тем устойчивее алгоритм классификации.
— Объект называется пограничным, если его отступ находится вблизи нуля. При наличии доверительного интервала мы используем более строгое определение пограничного объекта: объект называется пограничным, если нуль входит в его доверительный интервал.
— Шумовым объект называется, если его отступ меньше нуля. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал лежит меньше нуля.\n Чем меньше шумовых объектов, тем лучше работает алгоритм классификации и (или) тем лучше сама выборка (содержит мало выбросов).
— Объект называется эталонным, если его отступ находится вблизи единицы. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что эталонный это тот объект, у которого весь доверительный интервал около единицы.
Транспонировать таблицу отчета
UCI_Liver_DisordersUCI_IrisUCI_GermanUCI_Australian
random
0.4954
0.3623 - 0.6377
0.6533
0.5667 - 0.8000
0.4196
0.3650 - 0.4750
0.4946
0.3841 - 0.5942
const
0.4203
0.4203 - 0.4203
0.6667
0.6667 - 0.6667
0.3000
0.3000 - 0.3000
0.4449
0.4420 - 0.4493