Отложенная выборка

Материал из MachineLearning.

Версия от 16:42, 18 июля 2026; Aleksandr Pochtarev (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM ChatGPT 5.6 Terra и проверена участником А.Ю.Почтарев 18 июля 2026

Промпт приводится полностью в Обсуждение:Отложенная выборка


Содержание

Отложенная выборка (англ. hold-out validation) — способ оценки обобщающей способности модели, при котором часть исходных данных заранее исключают из обучения и используют для независимой проверки результата. В простейшем варианте данные один раз разделяют на обучающую и тестовую части; модель строят только на обучающей части, а качество измеряют на отложенной. Метод применяют в машинном обучении, статистическом обучении и прикладном регрессионном анализе.

Отложенная выборка проста, вычислительно дёшева и хорошо подходит для больших наборов данных. Однако оценка зависит от конкретного разбиения: малая тестовая часть даёт нестабильную оценку, а малая обучающая часть ухудшает модель. Поэтому отложенную выборку важно отличать от перекрёстной проверки, в которой разбиение повторяют несколько раз.[1]

Терминология и назначение

Пусть имеется набор наблюдений

D=\{(x_i,y_i)\}_{i=1}^{n}

где x_i — признаки объекта, а y_i — известный ответ. При отложенной проверке набор делят на непересекающиеся части:

D=D_{train} \cup D_{test}

D_{train} \cap D_{test}=\emptyset

На D_{train} обучают модель f; объекты из D_{test} не должны участвовать в её построении, выборе признаков или настройке гиперпараметров.

В прикладной литературе слова «отложенная», «проверочная» и «тестовая» выборка иногда используют как синонимы. Для воспроизводимой работы их полезно различать:

  • обучающая выборка (англ. training set) используется для настройки параметров модели;
  • проверочная выборка (англ. validation set) используется для выбора алгоритма, гиперпараметров и порогов решения;
  • тестовая выборка (англ. test set) остаётся нетронутой до окончательной оценки выбранного конвейера.

Таким образом, термин «отложенная выборка» может означать либо любую часть, не использованную при обучении, либо именно финальную тестовую часть. В трёхчастном разбиении проверочная выборка служит для принятия инженерных решений, а тестовая — для их независимой проверки.

Оценка качества

Пусть L(y,f(x)) — функция потерь, а число объектов в тестовой части равно n_{test}. Средняя потеря на отложенной выборке равна

R_{test}=\frac{1}{n_{test}}\sum_{(x_i,y_i) \in D_{test}} L(y_i,f(x_i))

Для классификации часто сообщают долю правильных ответов:

A_{test}=\frac{1}{n_{test}}\sum_{(x_i,y_i) \in D_{test}} I(y_i=f(x_i))

где I — индикатор равенства. Для регрессии выбирают метрику, соответствующую задаче: например, среднюю абсолютную ошибку или среднеквадратическую ошибку. Метрика должна быть зафиксирована до просмотра тестовых результатов.

Если тестовые наблюдения независимо получены из той же генеральной совокупности, что и будущие данные, и модель не выбиралась по этим наблюдениям, R_{test} является несмещённой оценкой риска обученной модели на новых объектах. Это не гарантирует малой погрешности: при небольшой тестовой части оценка имеет большую случайную изменчивость. Например, для доли правильных ответов приближённая стандартная ошибка равна

SE(A_{test})=\sqrt{A_{test}(1-A_{test})/n_{test}}

Эта формула предполагает независимость тестовых объектов и служит ориентиром. При групповой, временной или иной зависимой структуре данных нужны методы оценки неопределённости, учитывающие эту структуру.

Порядок применения

Типичный рабочий процесс состоит из следующих шагов:

  1. Формулируют целевую метрику и единицу разбиения: отдельный объект, пользователь, пациент, временной интервал или другая независимая сущность.
  2. До обучения отделяют финальную тестовую выборку и фиксируют правило разбиения, включая случайное начальное состояние (англ. random seed).
  3. На оставшихся данных обучают преобразования признаков и модели, а параметры выбирают на проверочной части или с помощью перекрёстной проверки.
  4. После выбора всех решений один раз оценивают готовый конвейер на тестовой части.
  5. При необходимости переобучают окончательный конвейер на всех доступных нетестовых данных. Следует явно указать, что ранее измеренное качество относится к процедуре обучения на меньшем объёме данных.

При подготовке признаков требуется соблюдать тот же порядок. Например, среднее и стандартное отклонение для масштабирования, правила заполнения пропусков, отбор признаков и снижение размерности вычисляют на обучающей части, затем применяют без повторной настройки к проверочной и тестовой. Использование сведений из отложенной части на любом из этих шагов называется утечкой данных (англ. data leakage) и обычно делает оценку слишком оптимистичной.

Выбор разбиения

Универсальной пропорции обучающей и тестовой частей нет. Увеличение обучающей части обычно улучшает модель, но уменьшает число тестовых наблюдений и делает оценку менее точной. Практически важнее обеспечить достаточное число тестовых объектов для ключевых подгрупп и нужной метрики, чем механически применять правило «80/20» или «70/30». На малых выборках одиночное разбиение часто заменяют перекрёстной проверкой.[1]

Для классификации с редким классом используют стратифицированное разбиение (англ. stratified split), сохраняя примерно одинаковую долю классов в частях. Это не заменяет оценку качества по каждому важному классу: высокая общая точность при редком положительном классе может быть бесполезной.

Случайное разбиение неприменимо, если оно нарушает зависимость между объектами:

  • для временных рядов обучающие наблюдения должны предшествовать тестовым, иначе модель получает информацию из будущего;
  • для нескольких записей одного пользователя, пациента, прибора или документа все связанные записи помещают в одну часть; иначе модель может запомнить источник, а не закономерность;
  • при пространственных, сетевых и иных зависимостях разбиение должно воспроизводить будущий сценарий применения модели.

Связь с выбором модели и перекрёстной проверкой

Одно разбиение отвечает на вопрос о качестве конкретного конвейера, обученного на конкретной обучающей части. Оно не должно одновременно использоваться для многократного выбора алгоритма, глубины дерева, числа признаков или других гиперпараметров. Если из множества вариантов выбрать лучший по тестовой метрике, тестовая часть фактически превратится в проверочную, а опубликованное качество будет иметь смещение в оптимистичную сторону.[1]

Если данных недостаточно для отдельной проверочной части, распространённый вариант — настроить модель внутри перекрёстной проверки на обучающих данных, а тестовую выборку сохранить для финального измерения. При отсутствии независимого тестового набора применяют вложенную перекрёстную проверку (англ. nested cross-validation): внутренний цикл выбирает гиперпараметры, внешний оценивает всю процедуру выбора. В экспериментах с классификаторами, включая SVM, такой подход уменьшал смещение оценки после настройки параметров.[1]

Повторное случайное разбиение (англ. repeated hold-out или Monte Carlo cross-validation) усредняет качество по нескольким разделениям и уменьшает зависимость вывода от одной случайной перестановки. Однако его результаты нельзя выдавать за оценку на полностью независимом тестовом наборе, если одни и те же наблюдения многократно влияли на выбор модели.

Преимущества и ограничения

К преимуществам отложенной выборки относятся простота, единственное обучение модели и естественная интерпретация результата на данных, не виденных алгоритмом. Метод особенно удобен, когда данных много, обучение дорого или существует готовый тестовый набор, отражающий будущую эксплуатацию.

Главное ограничение — зависимость результата от конкретного разбиения. Два случайных разбиения могут дать заметно разные оценки, особенно на малых данных, при нестабильной модели или редком классе. Кроме того, модель учится не на всех доступных данных, а оценка относится к размеру именно обучающей части. Повторный просмотр тестовых результатов, даже без изменения кода модели, может повлиять на последующие решения и разрушить независимость оценки.

История

Разделение данных на части для обучения и проверки — базовая статистическая идея, для которой нельзя корректно назвать единственного автора. Формальные методы повторного использования выборки и перекрёстной проверки развивались в 1970-х годах. Майкл Стоун в 1974 году рассмотрел выбор и оценку статистических предсказаний с помощью обобщённого критерия перекрёстной проверки, а Сеймур Гайссер в 1975 году описал метод повторного использования выборки для предсказания.[1][1] Эти работы относятся прежде всего к развитию общей методологии проверки предсказаний, а не к единоличному «изобретению» современного одноразового разбиения.

См. также

Примечания

Литература

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D1%82%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B0»
Личные инструменты