Смещение данных: bias in ML
Материал из MachineLearning.
| Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Vladimir Beliaev 21:10, 13 июля 2026 (MSD) |
|
Смещение данных (bias in ML, «смещение», «предвзятость») — систематическое искажение в данных или в модели машинного обучения, из-за которого её предсказания оказываются устойчиво неточными или несправедливыми по отношению к отдельным объектам или группам. В отличие от случайного шума, который «в среднем» гасится на большой выборке, смещение имеет направление и на большем объёме данных не исчезает, а нередко закрепляется.
Важно сразу развести два значения слова «смещение», которые в русском языке слились в один термин. В классической статистике bias — это компонента ошибки в разложении «смещение — разброс» (bias–variance): недообученная модель имеет высокое смещение, потому что слишком груба, чтобы уловить закономерность. В контексте же честности и этики ИИ bias — это социально значимая предвзятость: модель систематически ущемляет некоторую группу людей. Эта статья в основном о втором значении, но держать в голове стоит оба: технически они связаны, ведь и там, и там речь о систематической, а не случайной ошибке.
Откуда берётся смещение: петля данные — алгоритм — пользователь
Ключевая идея, вокруг которой стоит выстраивать понимание темы: смещение почти никогда не рождается «в алгоритме». Оно приходит из данных, усиливается моделью и возвращается обратно через поведение пользователей, замыкаясь в петлю. Влиятельный обзор Мехраби и соавторов (2021) описывает именно этот цикл из трёх звеньев — данные → алгоритм, алгоритм → пользователь, пользователь → данные — и каталогизирует источники предвзятости внутри него[1].
Удобную «анатомию» источников смещения, привязанную к этапам жизненного цикла модели, дали Суреш и Гуттаг[1]. Наиболее важные виды:
- Историческое смещение (historical bias) — данные точно отражают мир, но сам мир несправедлив. Даже идеально собранная выборка зарплат закрепит существующий гендерный разрыв. Это самый коварный случай: чинить нужно не данные, а постановку задачи.
- Смещение представительности (representation bias) — некоторые группы недопредставлены в выборке. Классика — датасеты лиц, собранные преимущественно на светлокожих мужчинах.
- Смещение измерения (measurement bias) — целевая переменная является лишь прокси того, что мы на самом деле хотим предсказать, и этот прокси искажён. Модель «риска преступности» учат на данных об арестах, а не о преступлениях — а аресты сами по себе распределены неравномерно.
- Смещение агрегации (aggregation bias) — одна модель навязывается разнородным группам, для которых верны разные закономерности.
- Смещение выборки (sampling / selection bias) — способ отбора данных искажает распределение (опрос по телефону пропускает тех, у кого телефона нет).
Отдельно стоит смещение обратной связи (feedback loop): предсказания модели влияют на будущие данные. Если полицию чаще направляют в район, который модель сочла «криминальным», там фиксируют больше правонарушений — и следующая версия модели ещё увереннее клеймит этот район. Модель не столько предсказывает реальность, сколько формирует её.
Два хрестоматийных случая
Теорию лучше всего оживляют реальные провалы, ставшие каноническими.
COMPAS. В 2016 году журналисты ProPublica проанализировали COMPAS — систему оценки риска рецидива, применявшуюся в судах США, — и показали, что чернокожих подсудимых система почти вдвое чаще ошибочно относила к группе высокого риска, чем белых. Разработчик (Northpointe) возразил, что система калибрована: при одинаковом балле доля реально совершивших рецидив одинакова для обеих групп. Обе стороны были правы по своим метрикам — и именно этот спор привёл к главному теоретическому результату области (см. ниже).
Gender Shades. Буоламвини и Гебру (2018) протестировали коммерческие системы распознавания пола по лицу и обнаружили, что ошибка для светлокожих мужчин составляла доли процента, а для темнокожих женщин достигала десятков процентов[1]. Работа стала эталонным примером смещения представительности и показала важность интерсекционального анализа — по пересечению признаков, а не по каждому в отдельности.
Математический предел: почему нельзя быть справедливым по всем критериям
Самый глубокий и часто недооценённый результат темы: разные разумные определения справедливости математически несовместимы. Это не недоработка конкретных алгоритмов, а свойство самих определений.
Формализуют справедливость обычно через три семейства критериев: калибровка (при одинаковом предсказанном риске доля положительных исходов одинакова во всех группах); равенство шансов (equalized odds — одинаковые доли ошибок первого и второго рода по группам); демографический паритет (одинаковая доля положительных решений). Клейнберг, Муллайнатан и Рагхаван (2016) и независимо Чулдечова (2017) доказали теорему невозможности: если базовые частоты (доля положительного класса) у групп различаются, а предсказание не идеально, то одновременно удовлетворить калибровку и равенство ошибок нельзя[1][1].
Чулдечова выразила это жёстким тождеством, связывающим для любого бинарного классификатора долю ложноположительных срабатываний FPR, долю ложноотрицательных FNR, точность положительного предсказания PPV и базовую частоту p:
- FPR = [ p / (1 − p) ] · [ (1 − PPV) / PPV ] · (1 − FNR)
Из этого равенства видно: если p у групп разное, то, зафиксировав PPV одинаковым (калибровка), мы вынужденно получаем разные FPR и FNR — то есть нарушаем равенство ошибок. Ровно это и произошло в деле COMPAS: система была калибрована, но именно поэтому не могла иметь равные доли ошибок. Спор ProPublica и Northpointe был не спором о фактах, а спором о том, какое определение справедливости выбрать — а выбрать все сразу невозможно. Практический вывод отрезвляет: «беспристрастной» модели в абсолютном смысле не бывает; можно лишь осознанно выбрать, какой вид справедливости важнее в данной задаче, и принять цену этого выбора.
Как борются со смещением
Методы принято делить по стадии вмешательства:
- Предобработка (pre-processing) — правят сами данные: перевзвешивание примеров, ресэмплинг недопредставленных групп, генерация недостающих случаев (см. Генерация синтетических данных), удаление или преобразование признаков-прокси.
- Обработка при обучении (in-processing) — встраивают ограничение справедливости прямо в функцию потерь или в процедуру оптимизации, штрафуя модель за дисбаланс.
- Постобработка (post-processing) — корректируют уже готовые предсказания, например подбирая разные пороги решения для разных групп.
Универсального рецепта нет: вмешательство почти всегда стоит некоторой точности, а «починка» одной метрики справедливости, как мы видели, ухудшает другую. Диагностика смещения тесно связана с темой интерпретируемости — методы объяснения нередко и вскрывают, что модель опирается на признак-прокси чувствительного атрибута.
Смещение в больших и генеративных моделях
С приходом больших языковых моделей тема не исчезла, а усложнилась. Модель, обученная на текстах интернета, впитывает и воспроизводит стереотипы, содержащиеся в этих текстах; в мультимодальных моделях добавляются визуальные стереотипы. Здесь смещение труднее и измерить, и локализовать, потому что «выход» модели — свободный текст или изображение, а не бинарная метка, к которой применимы классические метрики справедливости.
Открытые проблемы
- Выбор определения. Какую справедливость считать «правильной» — вопрос не математический, а ценностный; он зависит от контекста и стейкхолдеров.
- Смещение без чувствительных признаков. Даже если убрать расу или пол из данных, модель восстановит их по коррелирующим прокси (почтовый индекс, история покупок).
- Измерение в генеративных моделях. Общепринятых метрик предвзятости для свободного текста и изображений пока нет.
- Петли обратной связи. Долгосрочное влияние развёрнутых моделей на общество и на собственные будущие данные изучено слабо.
- Историческое смещение. Технические методы бессильны там, где несправедлив сам мир, породивший данные, — это уже вопрос постановки задачи и политики.
См. также
- Explainable AI
- Генерация синтетических данных
- Мультимодальное машинное обучение
- Большие языковые модели
- ИИ в научных исследованиях
Примечания
Ссылки
- A Survey on Bias and Fairness in Machine Learning — обзор Мехраби и соавторов
- Fairness and Machine Learning — открытая книга Бароказа, Хардта и Нарайанана
- Gender Shades — проект и данные исследования Буоламвини и Гебру
