Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''Claude Opus 4.8''' и проверена участником [[Участник:Vladimir Beliaev|Vladimir Beliaev]] 21:10, 13 июля 2026 (MSD)}} {{TOCright}} '''Смещение данных''' (''bias in ML'', «смещение», «предвзятость») — систематическое искажение в данных или в модели [[Машинное обучение|машинного обучения]], из-за которого её предсказания оказываются устойчиво неточными или несправедливыми по отношению к отдельным объектам или группам. В отличие от случайного шума, который «в среднем» гасится на большой выборке, смещение имеет направление и на большем объёме данных не исчезает, а нередко закрепляется. Важно сразу развести два значения слова «смещение», которые в русском языке слились в один термин. В классической статистике ''bias'' — это компонента ошибки в разложении «смещение — разброс» (''bias–variance''): недообученная модель имеет высокое смещение, потому что слишком груба, чтобы уловить закономерность. В контексте же честности и этики ИИ ''bias'' — это социально значимая предвзятость: модель систематически ущемляет некоторую группу людей. Эта статья в основном о втором значении, но держать в голове стоит оба: технически они связаны, ведь и там, и там речь о систематической, а не случайной ошибке. == Откуда берётся смещение: петля данные — алгоритм — пользователь == Ключевая идея, вокруг которой стоит выстраивать понимание темы: смещение почти никогда не рождается «в алгоритме». Оно приходит из данных, усиливается моделью и возвращается обратно через поведение пользователей, замыкаясь в петлю. Влиятельный обзор Мехраби и соавторов (2021) описывает именно этот цикл из трёх звеньев — '''данные → алгоритм''', '''алгоритм → пользователь''', '''пользователь → данные''' — и каталогизирует источники предвзятости внутри него<ref name="mehrabi">Mehrabi N., Morstatter F., Saxena N., Lerman K., Galstyan A. A Survey on Bias and Fairness in Machine Learning // ACM Computing Surveys. 2021. Vol. 54, № 6. Article 115. doi:10.1145/3457607.</ref>. Удобную «анатомию» источников смещения, привязанную к этапам жизненного цикла модели, дали Суреш и Гуттаг<ref name="suresh">Suresh H., Guttag J. A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle // EAAMO. 2021. arXiv:1901.10002.</ref>. Наиболее важные виды: * '''Историческое смещение''' (''historical bias'') — данные точно отражают мир, но сам мир несправедлив. Даже идеально собранная выборка зарплат закрепит существующий гендерный разрыв. Это самый коварный случай: чинить нужно не данные, а постановку задачи. * '''Смещение представительности''' (''representation bias'') — некоторые группы недопредставлены в выборке. Классика — датасеты лиц, собранные преимущественно на светлокожих мужчинах. * '''Смещение измерения''' (''measurement bias'') — целевая переменная является лишь ''прокси'' того, что мы на самом деле хотим предсказать, и этот прокси искажён. Модель «риска преступности» учат на данных об ''арестах'', а не о ''преступлениях'' — а аресты сами по себе распределены неравномерно. * '''Смещение агрегации''' (''aggregation bias'') — одна модель навязывается разнородным группам, для которых верны разные закономерности. * '''Смещение выборки''' (''sampling / selection bias'') — способ отбора данных искажает распределение (опрос по телефону пропускает тех, у кого телефона нет). Отдельно стоит '''смещение обратной связи''' (''feedback loop''): предсказания модели влияют на будущие данные. Если полицию чаще направляют в район, который модель сочла «криминальным», там фиксируют больше правонарушений — и следующая версия модели ещё увереннее клеймит этот район. Модель не столько предсказывает реальность, сколько формирует её. == Два хрестоматийных случая == Теорию лучше всего оживляют реальные провалы, ставшие каноническими. '''COMPAS.''' В 2016 году журналисты ''ProPublica'' проанализировали COMPAS — систему оценки риска рецидива, применявшуюся в судах США, — и показали, что чернокожих подсудимых система почти вдвое чаще ошибочно относила к группе высокого риска, чем белых. Разработчик (Northpointe) возразил, что система ''калибрована'': при одинаковом балле доля реально совершивших рецидив одинакова для обеих групп. Обе стороны были правы по своим метрикам — и именно этот спор привёл к главному теоретическому результату области (см. ниже). '''Gender Shades.''' Буоламвини и Гебру (2018) протестировали коммерческие системы распознавания пола по лицу и обнаружили, что ошибка для светлокожих мужчин составляла доли процента, а для темнокожих женщин достигала десятков процентов<ref name="gendershades">Buolamwini J., Gebru T. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification // Proceedings of Machine Learning Research (FAccT). 2018. Vol. 81. P. 77–91.</ref>. Работа стала эталонным примером ''смещения представительности'' и показала важность ''интерсекционального'' анализа — по пересечению признаков, а не по каждому в отдельности. == Математический предел: почему нельзя быть справедливым по всем критериям == Самый глубокий и часто недооценённый результат темы: разные разумные определения справедливости ''математически несовместимы''. Это не недоработка конкретных алгоритмов, а свойство самих определений. Формализуют справедливость обычно через три семейства критериев: '''калибровка''' (при одинаковом предсказанном риске доля положительных исходов одинакова во всех группах); '''равенство шансов''' (''equalized odds'' — одинаковые доли ошибок первого и второго рода по группам); '''демографический паритет''' (одинаковая доля положительных решений). Клейнберг, Муллайнатан и Рагхаван (2016) и независимо Чулдечова (2017) доказали ''теорему невозможности'': если базовые частоты (доля положительного класса) у групп различаются, а предсказание не идеально, то одновременно удовлетворить калибровку и равенство ошибок нельзя<ref name="kleinberg">Kleinberg J., Mullainathan S., Raghavan M. Inherent Trade-Offs in the Fair Determination of Risk Scores // ITCS. 2017. arXiv:1609.05807.</ref><ref name="chould">Chouldechova A. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments // Big Data. 2017. Vol. 5, № 2. P. 153–163. arXiv:1610.07524.</ref>. Чулдечова выразила это жёстким тождеством, связывающим для любого бинарного классификатора долю ложноположительных срабатываний ''FPR'', долю ложноотрицательных ''FNR'', точность положительного предсказания ''PPV'' и базовую частоту ''p'': : ''FPR'' = [ ''p'' / (1 − ''p'') ] · [ (1 − ''PPV'') / ''PPV'' ] · (1 − ''FNR'') Из этого равенства видно: если ''p'' у групп разное, то, зафиксировав ''PPV'' одинаковым (калибровка), мы вынужденно получаем разные ''FPR'' и ''FNR'' — то есть нарушаем равенство ошибок. Ровно это и произошло в деле COMPAS: система была калибрована, но именно поэтому не могла иметь равные доли ошибок. Спор ''ProPublica'' и Northpointe был не спором о фактах, а спором о том, ''какое'' определение справедливости выбрать — а выбрать все сразу невозможно. Практический вывод отрезвляет: «беспристрастной» модели в абсолютном смысле не бывает; можно лишь осознанно выбрать, какой вид справедливости важнее в данной задаче, и принять цену этого выбора. == Как борются со смещением == Методы принято делить по стадии вмешательства: * '''Предобработка''' (''pre-processing'') — правят сами данные: перевзвешивание примеров, ресэмплинг недопредставленных групп, генерация недостающих случаев (см. [[Генерация синтетических данных]]), удаление или преобразование признаков-прокси. * '''Обработка при обучении''' (''in-processing'') — встраивают ограничение справедливости прямо в функцию потерь или в процедуру оптимизации, штрафуя модель за дисбаланс. * '''Постобработка''' (''post-processing'') — корректируют уже готовые предсказания, например подбирая разные пороги решения для разных групп. Универсального рецепта нет: вмешательство почти всегда стоит некоторой точности, а «починка» одной метрики справедливости, как мы видели, ухудшает другую. Диагностика смещения тесно связана с темой [[Explainable AI|интерпретируемости]] — методы объяснения нередко и вскрывают, что модель опирается на признак-прокси чувствительного атрибута. == Смещение в больших и генеративных моделях == С приходом [[Большие языковые модели|больших языковых моделей]] тема не исчезла, а усложнилась. Модель, обученная на текстах интернета, впитывает и воспроизводит стереотипы, содержащиеся в этих текстах; в [[Мультимодальное машинное обучение|мультимодальных моделях]] добавляются визуальные стереотипы. Здесь смещение труднее и измерить, и локализовать, потому что «выход» модели — свободный текст или изображение, а не бинарная метка, к которой применимы классические метрики справедливости. == Открытые проблемы == * '''Выбор определения.''' Какую справедливость считать «правильной» — вопрос не математический, а ценностный; он зависит от контекста и стейкхолдеров. * '''Смещение без чувствительных признаков.''' Даже если убрать расу или пол из данных, модель восстановит их по коррелирующим прокси (почтовый индекс, история покупок). * '''Измерение в генеративных моделях.''' Общепринятых метрик предвзятости для свободного текста и изображений пока нет. * '''Петли обратной связи.''' Долгосрочное влияние развёрнутых моделей на общество и на собственные будущие данные изучено слабо. * '''Историческое смещение.''' Технические методы бессильны там, где несправедлив сам мир, породивший данные, — это уже вопрос постановки задачи и политики. == См. также == * [[Explainable AI]] * [[Генерация синтетических данных]] * [[Мультимодальное машинное обучение]] * [[Большие языковые модели]] * [[ИИ в научных исследованиях]] == Примечания == <references/> == Ссылки == * [https://dl.acm.org/doi/10.1145/3457607 A Survey on Bias and Fairness in Machine Learning] — обзор Мехраби и соавторов * [https://fairmlbook.org/ Fairness and Machine Learning] — открытая книга Бароказа, Хардта и Нарайанана * [https://gendershades.org/ Gender Shades] — проект и данные исследования Буоламвини и Гебру [[Категория:Машинное обучение]] [[Категория:Этика искусственного интеллекта]] [[Категория:Популярные и обзорные статьи]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well

Возврат к странице Смещение данных: bias in ML.