Анкетный скоринг

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 1: Строка 1:
-
{{well|Статья написана с использованием LLM **DeepSeek-V3** и проверена участником [[User:StatProf|StatProf]] ([[User talk:StatProf|обсуждение]]) 14 июля 2026.}}
+
{{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником ~~Ilia Vdovin~~}}
-
= Критерий Акаике (AIC) =
+
'''Анкетный скоринг''' (англ. ''application scoring'') — это система математических и статистических моделей, используемая банками и микрофинансовыми организациями для прогнозирования вероятности неисполнения заёмщиком своих обязательств по кредиту на основе данных, предоставленных в заявке-анкете. Анкетный скоринг является первым и одним из ключевых этапов кредитного конвейера; его результат непосредственно влияет на решение о выдаче кредита, сумму и процентную ставку.
-
'''Критерий Акаике''' ('''AIC''' — от англ. ''Akaike Information Criterion'') — один из наиболее распространённых [[информационный критерий|информационных критериев]] для [[выбор модели|выбора статистических моделей]] по принципу максимума [[функция правдоподобия|правдоподобия]] с учётом их сложности. AIC позволяет сравнивать модели, оценивая, насколько хорошо они описывают наблюдаемые данные, и одновременно штрафуя за излишнее количество параметров, что предотвращает [[переобучение]].
+
Вместе с [[поведенческий скоринг|поведенческим скорингом]] (анализ транзакционной активности в процессе обслуживания долга) и [[коллекторский скоринг|коллекторским скорингом]] (оценка эффективности взыскания просроченной задолженности) анкетный скоринг образует триединую систему управления кредитным риском на протяжении всего жизненного цикла ссуды. Однако, в отличие от поведенческих и коллекторских моделей, анкетные карты опираются исключительно на статические признаки, известные до выдачи кредита, что делает их наиболее критичными с точки зрения предотвращения невозвратов.
-
== Определение и мотивация ==
+
== Историческая справка ==
-
При построении статистических моделей исследователь часто сталкивается с дилеммой: увеличение числа параметров всегда повышает качество подгонки на обучающей выборке, но может ухудшить предсказательную способность на новых данных ([[генерализация|генерализующая способность]]). Традиционные подходы, такие как проверка гипотез, не дают единой меры для сравнения невложенных моделей, а [[кросс-валидация]] вычислительно затратна. AIC предлагает простую и теоретически обоснованную оценку [[расстояние Кульбака–Лейблера|расстояния Кульбака–Лейблера]] между истинной моделью и оцениваемой, что делает его удобным инструментом для выбора модели в задачах прогнозирования и объяснительного моделирования.
+
Идея количественной оценки кредитоспособности зародилась в США в 1940‑х годах. Пионерами считаются инженер [[Уильям Фэйр]] (William Fair) и математик [[Эрл Айзек]] (Earl Isaac), которые в 1956 году основали компанию Fair, Isaac and Company (ныне [[FICO]]). Первая скоринговая карта была разработана для розничного кредитора и основывалась на эвристических весах, назначенных экспертами.
-
== Историческая справка ==
+
В 1960‑х годах, с развитием вычислительной техники и распространением кредитных карт, скоринг стал массовым. Ключевым прорывом стало использование [[логистическая регрессия|логистической регрессии]], которая обеспечивала статистически обоснованные вероятности дефолта. В 1970‑х годах был принят [[Закон о равных кредитных возможностях]] (Equal Credit Opportunity Act, ECOA), запретивший дискриминацию по расовому, половому и другим признакам, что потребовало формализации и документирования всех переменных, используемых в скоринговых картах. С 1990‑х годов скоринговые карты стали обязательным инструментом риск-менеджмента в большинстве стран, а с начала 2000‑х активно внедряются методы машинного обучения.
-
Критерий был предложен японским статистиком [[Хиротогу Акаике]] в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control). Акаике исходил из идей [[теория информации|теории информации]] и [[энтропия|энтропии]] Шеннона, показав, что максимизация логарифмического правдоподобия эквивалентна минимизации информационного расхождения между истинным распределением и оцениваемой моделью.
+
== Постановка задачи ==
-
== Теоретические основы ==
+
В наиболее распространённой постановке анкетный скоринг представляет собой задачу [[бинарная классификация|бинарной классификации]] с целевой переменной <tex>y \in \{0,1\}</tex>, где:
-
Пусть имеется истинная модель <tex>g(\mathbf{x})</tex> и кандидатная модель <tex>f(\mathbf{x} \mid \boldsymbol{\theta})</tex> с <tex>K</tex> параметрами. [[Расстояние Кульбака–Лейблера]] между ними:
+
* <tex>y = 1</tex> соответствует «плохому» заёмщику (дефолт, обычно определяемый как просрочка более 90 дней в течение первых 12–24 месяцев после выдачи);
 +
* <tex>y = 0</tex> — «хорошему» заёмщику (обслуживает кредит в соответствии с графиком).
-
<tex>D_{KL}(g \parallel f) = \int g(\mathbf{x}) \ln \frac{g(\mathbf{x})}{f(\mathbf{x} \mid \boldsymbol{\theta})} \, d\mathbf{x} = \mathbb{E}_g[\ln g(\mathbf{x})] - \mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})].</tex>
+
Пусть <tex>X = (x_1, \dots, x_p)</tex> — вектор признаков, полученных из анкеты (возраст, доход, образование, трудовой стаж, семейное положение, наличие недвижимости, кредитная история из бюро и т.д.). Требуется построить модель <tex>f(X) = \mathbb{P}(y = 1 \mid X)</tex>, которая возвращает оценку вероятности дефолта. На основе этой оценки принимается решение: если <tex>f(X) > \theta</tex>, то в выдаче кредита отказывают (или предлагают его на ужесточённых условиях), иначе — одобряют. Порог <tex>\theta</tex> выбирается исходя из бизнес-стратегии и аппетита к риску.
-
Первое слагаемое одинаково для всех моделей, поэтому минимизация <tex>D_{KL}</tex> эквивалентна максимизации <tex>\mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})]</tex> — среднего логарифма правдоподобия по истинному распределению. Акаике показал, что [[метод максимального правдоподобия|максимум логарифмического правдоподобия]] <tex>\ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y})</tex> является смещённой оценкой этого математического ожидания, и смещение примерно равно числу параметров <tex>K</tex>. Отсюда получается несмещённая оценка:
+
== Этапы построения скоринговой карты ==
-
<tex>\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) - K.</tex>
+
Жизненный цикл анкетной скоринговой карты включает следующие обязательные этапы.
-
Умножив на <tex>-2</tex> (по историческим причинам, чтобы согласовать с [[хи-квадрат|распределением <tex>\chi^2</tex>]]), получают:
+
=== 1. Сбор и подготовка данных ===
-
<tex>AIC = -2 \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) + 2K.</tex>
+
Исходные данные извлекаются из внутренних банковских систем (заявки, выдачи, платежные календари) и внешних источников (кредитные бюро, государственные реестры). Обязательно проводится:
-
'''Штраф <tex>2K</tex>''' — это плата за неопределённость оценки параметров; каждый дополнительный параметр увеличивает AIC на 2, что эквивалентно требованию улучшения логарифмического правдоподобия как минимум на 1 (поскольку <tex>-2\Delta \ln L > 2</tex> означает <tex>\Delta \ln L > 1</tex>).
+
* '''Очистка''' — удаление дубликатов, исправление очевидных ошибок (например, возраст 200 лет).
 +
* '''Обработка пропусков''' — используются простые методы (заполнение медианой, модой, средним), а также более продвинутые: создание отдельной категории «нет данных», применение индикаторов пропусков, использование моделей-заменителей (например, [[k-ближайших соседей]] для импутации).
 +
* '''Кодирование категориальных переменных''' — вместо one-hot-кодирования, которое порождает много разреженных признаков, классическим подходом является использование [[Weight of Evidence]] (WoE) и [[Information Value]] (IV), о которых сказано ниже.
 +
* '''Нормализация''' — для методов, чувствительных к масштабу (например, градиентный спуск), применяется стандартизация или min-max масштабирование.
-
== Интерпретация и применение ==
+
=== 2. Отбор и преобразование признаков ===
-
AIC является относительной мерой качества модели. '''Чем меньше значение AIC, тем лучше модель'''. При сравнении нескольких моделей вычисляют разности <tex>\Delta_i = AIC_i - AIC_{min}</tex>. Эмпирическое правило:
+
Ключевой этап в построении классической скоринговой карты — преобразование непрерывных и категориальных переменных в категории с последующей заменой их на веса WoE. Для каждой группы <tex>i</tex> вычисляется:
-
* <tex>\Delta_i \le 2</tex> — модели практически эквивалентны;
+
<tex>WoE_i = \ln\left(\frac{good_i}{bad_i}\right)</tex>,
-
* <tex>4 \le \Delta_i \le 7</tex> — различие заметно;
+
-
* <tex>\Delta_i > 10</tex> — модель существенно хуже, её можно исключить из рассмотрения.
+
-
Важно, что AIC позволяет сравнивать только модели, построенные на '''одной и той же''' выборке и с одинаковым набором наблюдений (зависимая переменная должна быть идентичной). При сравнении моделей с разным числом параметров предпочтение отдаётся модели с меньшим AIC.
+
где <tex>good_i</tex> — доля «хороших» заёмщиков в группе <tex>i</tex>, а <tex>bad_i</tex> — доля «плохих». Это преобразование обеспечивает монотонность отношения признака к целевой переменной и позволяет работать с немонотонными зависимостями. Информативность признака оценивается через [[Information Value]]:
-
=== Пример ===
+
<tex>IV = \sum_{i} (good_i - bad_i) \cdot WoE_i</tex>.
-
Пусть для данных подбираются линейная регрессия с 2 параметрами (<tex>AIC=120</tex>) и полиномиальная модель с 5 параметрами (<tex>AIC=115</tex>). Разность <tex>\Delta=5</tex> указывает на умеренное преимущество полиномиальной модели; если <tex>\Delta>10</tex>, выбор был бы очевидным.
+
-
== Модификации ==
+
Обычно признаки с <tex>IV < 0.02</tex> исключаются как неинформативные, а признаки с <tex>IV > 0.3</tex> считаются очень сильными. Кроме того, для борьбы с [[мультиколлинеарность]] используется анализ корреляционной матрицы и вычисление VIF (Variance Inflation Factor). Группировка (бакетирование) выполняется с помощью деревьев решений или методов динамического программирования, обеспечивающих статистическую значимость различий между соседними группами.
-
* '''AICc''' (исправленный AIC для малых выборок) — вводит дополнительный штраф, зависящий от объёма выборки <tex>n</tex>:
+
=== 3. Выбор модели ===
-
<tex>AICc = AIC + \frac{2K(K+1)}{n - K - 1}.</tex>
+
-
Рекомендуется использовать при <tex>n/K < 40</tex>. Разработан Сугиурой (1978).
+
-
* '''QAIC''' (Quasi-AIC) — для данных с [[передисперсия|передисперсией]] (например, в экологических моделях). Заменяет логарифмическое правдоподобие на квази-правдоподобие и вводит коэффициент дисперсии <tex>\hat{c}</tex>:
+
-
<tex>QAIC = -2 \ln L / \hat{c} + 2K.</tex>
+
-
Используется, когда распределение данных не соответствует стандартным семействам (например, [[биномиальное распределение|биномиальное]] с избыточной вариативностью).
+
-
== Ограничения ==
+
'''Классический подход''' — [[логистическая регрессия]]:
-
* '''Несостоятельность''': AIC не стремится к выбору истинной модели с вероятностью 1 при <tex>n \to \infty</tex> (в отличие от [[байесовский информационный критерий|BIC]]), а склонен выбирать модели с избыточным числом параметров, если они дают сколь угодно малое улучшение правдоподобия. Это свойство называют асимптотической неэффективностью в смысле состоятельности.
+
<tex>f(X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_p x_p)}}</tex>.
-
* Неприменим для сравнения моделей с разными объёмами данных или разными [[зависимая переменная|зависимыми переменными]] (например, с логарифмическим преобразованием).
+
-
* Чувствителен к выбору [[распределение вероятностей|распределения]]; если оно специфицировано неверно, выводы могут быть ошибочными.
+
-
* Требует, чтобы модели были оценены методом максимального правдоподобия; для других методов оценки (например, [[метод моментов|метод моментов]]) использование AIC не обосновано.
+
-
== Сравнение с другими критериями ==
+
Её преимущества: прозрачность, простота интерпретации, малые вычислительные затраты и наличие регуляризации (L1 — [[Лассо]], L2 — [[гребневая регрессия]] или ElasticNet). Именно логистическая регрессия остаётся «золотым стандартом» для регуляторов.
-
* '''[[Байесовский информационный критерий|BIC]]''' (Bayesian Information Criterion, Шварц, 1978): <tex>BIC = -2 \ln L + K \ln n</tex>. Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При <tex>n > 8</tex> BIC сильнее штрафует за параметры, чем AIC. BIC предпочтителен, когда истинная модель предполагается конечномерной и входит в множество кандидатов.
+
'''Современные альтернативы''':
-
* '''[[DIC]]''' (Deviance Information Criterion) — для байесовских моделей, использует [[апостериорное распределение|апостериорное]] среднее отклонений.
+
-
* '''[[WAIC]]''' (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с [[кросс-валидация|кросс-валидацией]] leave-one-out.
+
-
* '''[[Кросс-валидация]]''' — даёт прямую оценку ошибки прогноза, но требует многократного переобучения; при больших данных может быть предпочтительнее AIC.
+
-
== Практические рекомендации ==
+
* [[Деревья решений]] — интерпретируемы, но склонны к переобучению.
 +
* [[Случайный лес]] и [[градиентный бустинг]] (XGBoost, LightGBM, CatBoost) — показывают высокую точность, особенно при большом числе признаков и сложных нелинейных зависимостях, однако требуют дополнительных методов для обеспечения интерпретируемости.
 +
* [[Нейронные сети]] — применяются при наличии очень больших объёмов данных и множества альтернативных источников (например, текстовые поля или данные с мобильного устройства), но крайне сложны для регуляторного одобрения из-за «чёрного ящика».
-
* Если цель — прогнозирование и размер выборки мал (<tex>n/K < 40</tex>), используйте AICc.
+
На практике часто используют гибридный подход: бустинг используется для выделения сложных паттернов, а финальная карта строится как логистическая регрессия на бустинговых прогнозах или на выходных признаках (например, на весах WoE).
-
* Если цель — идентификация истинной структуры модели (например, отбор значимых предикторов) при большом <tex>n</tex>, предпочтительнее BIC.
+
 
-
* Всегда приводите значения AIC для всех сравниваемых моделей, а также <tex>\Delta_i</tex> и веса Акаике <tex>w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)}</tex>, которые интерпретируются как вероятности того, что модель <tex>i</tex> является лучшей среди рассматриваемых (в смысле KL-расстояния).
+
=== 4. Обучение и калибровка ===
-
* Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок; используйте коррекцию на множественное тестирование.
+
 
 +
Обучение проводится на исторической выборке, разбитой на обучающую и валидационную (обычно 70%/30%). Из-за сильного [[дисбаланс классов|дисбаланса классов]] (доля дефолтов редко превышает 5–10%) применяются:
 +
 
 +
* взвешивание объектов (class_weight);
 +
* техники семплирования: SMOTE, ADASYN или случайный оверсемплинг/андерсемплинг;
 +
* использование специализированных метрик, не чувствительных к дисбалансу (AUC-ROC, Gini).
 +
 
 +
Обязательной является калибровка вероятностей, особенно при использовании ансамблевых методов. Для этого применяется [[калибровка Платта]] или [[изотоническая регрессия]] — это гарантирует, что предсказанные вероятности соответствуют реальным частотам дефолта в каждой группе риска.
 +
 
 +
=== 5. Оценка качества ===
 +
 
 +
Для оценки качества скоринговой карты используются следующие метрики:
 +
 
 +
* '''AUC-ROC''' (Area Under ROC-curve) — способность модели разделять два класса; значение выше 0.75 считается хорошим, выше 0.85 — отличным.
 +
* '''Коэффициент Джини (Gini)''' = 2 * AUC — 1.
 +
* '''KS-статистика (Колмогорова-Смирнова)''' — максимальное различие между кумулятивными долями хороших и плохих заёмщиков; значение выше 0.3 признаётся удовлетворительным, выше 0.4 — хорошим.
 +
* '''Калибровочный график''' (сравнение средней предсказанной вероятности с фактической долей дефолтов в каждом дециле).
 +
* '''Таблица соответствия (рейтинг-скейл)''' — перевод вероятностей в целочисленные баллы (например, от 300 до 850), удобные для бизнес-пользователей.
 +
 
 +
=== 6. Валидация ===
 +
 
 +
Валидация включает:
 +
 
 +
* [[Кросс-валидация|Кросс-валидацию]] (k-fold) на обучающей выборке.
 +
* Тестирование на отложенной выборке (hold-out test), не участвовавшей в подборе гиперпараметров.
 +
* Бэк-тестинг (back-testing) — проверку модели на исторических данных за предыдущие периоды, которые не были включены в обучение, чтобы оценить её стабильность во времени.
 +
 
 +
В соответствии с требованиями [[Базель III]] и указаниями Центрального банка, валидация должна проводиться независимой командой (не разработчиками модели), а результаты документироваться в отчёте о валидации.
 +
 
 +
=== 7. Мониторинг и переобучение ===
 +
 
 +
После внедрения скоринговая карта требует постоянного мониторинга:
 +
 
 +
* '''Стабильность популяции''' — отслеживание индекса стабильности совокупности (Population Stability Index, PSI) для каждого признака и для общего скора. При PSI > 0.25 требуется глубокая перекалибровка.
 +
* '''Дрейф признаков''' — сравнение распределений признаков на текущем потоке заявок с обучающей выборкой.
 +
* '''Анализ ошибок''' — вычисление фактической частоты дефолтов по каждому децилю прогнозной вероятности.
 +
 
 +
Периодичность переобучения (рефреша) обычно составляет 6–12 месяцев, однако при резких изменениях макроэкономической ситуации может потребоваться экстренная перекалибровка.
 +
 
 +
== Ключевые проблемы и способы их решения ==
 +
 
 +
* '''Дисбаланс классов''' решается не только взвешиванием, но и использованием скоринговых метрик (например, AUC) вместо accuracy, а также применением методов генерации синтетических объектов.
 +
* '''Пропуски в данных''' — важно не удалять объекты с пропусками, так как сам факт отсутствия информации часто несёт прогностическую силу. Поэтому используют индикаторные переменные (dummy для пропусков) и заполнение значениями, рассчитанными по аналогичным заёмщикам.
 +
* '''Мультиколлинеарность и переобучение''' контролируются регуляризацией, отбором признаков по IV и VIF, а также ограничением сложности модели (например, максимальная глубина дерева в бустинге).
 +
* '''Интерпретируемость''' остаётся главным препятствием для внедрения сложных моделей. Регулятор (в том числе ЦБ РФ) требует, чтобы банк мог объяснить клиенту причину отказа или изменения условий. Для этого используются глобальные и локальные методы объяснения: [[SHAP]] (SHapley Additive exPlanations), [[LIME]] (Local Interpretable Model-agnostic Explanations), а также визуализация важности признаков (например, барчаты). В идеале модель должна быть монотонной по экономически значимым признакам (например, чем выше доход — тем ниже риск), что часто достигается специальными ограничениями при обучении.
 +
 
 +
== Регуляторные требования ==
 +
 
 +
В России основным документом является [[Положение Банка России № 590-П]] (о порядке формирования резервов) и методические рекомендации по внутренним моделям оценки кредитного риска. Банки, использующие продвинутые подходы (IRB), обязаны проходить строгую валидацию моделей, включая стресс-тестирование. Базельский комитет по банковскому надзору в документе «Guidelines on credit risk modelling» (2020) требует:
 +
 
 +
* прозрачности всех этапов построения;
 +
* независимой валидации;
 +
* документирования всех ограничений модели;
 +
* регулярного мониторинга и отчёта перед советом директоров.
 +
 
 +
Несоблюдение этих требований может привести к повышению нормативных резервов и, как следствие, к убыткам.
 +
 
 +
== Современные тенденции ==
 +
 
 +
1. '''Альтернативные данные''' — использование цифрового следа (поведение в интернете, история мобильных платежей, геолокация) для скоринга клиентов, не имеющих традиционной кредитной истории. Это позволяет расширить финансовую доступность, однако требует осторожности с точки зрения приватности и регуляторных ограничений.
 +
 
 +
2. '''Объяснимый ИИ (XAI)''' — разработка методов, совмещающих высокую точность бустинга с полноценной интерпретируемостью, например, деревья решений с монотонными ограничениями и модели на основе правил.
 +
 
 +
3. '''Автоматизированное машинное обучение (AutoML)''' — инструменты для автоматического подбора моделей, гиперпараметров и преобразований признаков, позволяющие ускорить разработку скоринговых карт и снизить порог входа для небольших банков.
 +
 
 +
4. '''Непрерывный мониторинг с использованием онлайн-обучения''' — при большом потоке заявок (например, 10 тыс./день) возможно использование моделей, обновляющихся в реальном времени с использованием стохастического градиентного спуска.
== Заключение ==
== Заключение ==
-
Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах, где приоритетом является предсказательная точность, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации ([[LASSO]], [[ридж-регрессия]]) и использование информационных критериев в глубоком обучении для выбора архитектур — расширяют область его применения.
+
Анкетный скоринг остаётся фундаментальным инструментом управления кредитным риском. Несмотря на стремительное развитие машинного обучения, на практике доминирует гибридный подход, сочетающий статистическую надёжность логистической регрессии с прогностической силой ансамблевых методов. Главными вызовами на ближайшие годы являются сохранение интерпретируемости при усложнении моделей, адаптация к нестабильной макроэкономической среде и соблюдение регуляторных требований. Дальнейшее развитие скоринга будет связано с интеграцией поведенческих данных на этапе анкетирования, использованием графовых нейросетей для учёта связей между заёмщиками и переходом к непрерывной калибровке моделей в режиме реального времени.
== Литература ==
== Литература ==
-
# Akaike, H. (1974). A new look at the statistical model identification. ''IEEE Transactions on Automatic Control'', 19(6), 716–723.
+
# Thomas, L.C., Edelman, D.B., & Crook, J.N. (2002). ''Credit Scoring and Its Applications''. SIAM. — Классический учебник по скорингу, охватывающий статистические методы и практику.
-
# Burnham, K. P., & Anderson, D. R. (2002). ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach''. 2nd ed. Springer.
+
# Siddiqi, N. (2017). ''Intelligent Credit Scoring: Building and Implementing Better Credit Risk Scorecards''. Wiley. — Подробное руководство по построению скоринговых карт, включая WoE, IV и логистическую регрессию.
-
# McQuarrie, A. D. R., & Tsai, C.-L. (1998). ''Regression and Time Series Model Selection''. World Scientific.
+
# Hastie, T., Tibshirani, R., & Friedman, J. (2009). ''The Elements of Statistical Learning''. Springer. — Главы, посвящённые регуляризации, деревьям и ансамблям.
-
# Konishi, S., & Kitagawa, G. (2008). ''Information Criteria and Statistical Modeling''. Springer.
+
# Basel Committee on Banking Supervision (2020). ''Guidelines on credit risk modelling and stress-testing''. BIS. — Основной регуляторный документ.
-
# Claeskens, G., & Hjort, N. L. (2008). ''Model Selection and Model Averaging''. Cambridge University Press.
+
# Molnar, C. (2022). ''Interpretable Machine Learning: A Guide for Making Black Box Models Explainable''. Leanpub. — Практическое руководство по SHAP, LIME и другим методам интерпретации.
 +
 
 +
== Полезные ресурсы ==
 +
 
 +
* [https://www.fico.com/ Официальный сайт FICO] — кейсы и материалы по скорингу.
 +
* [https://www.experian.com/blogs/ask-experian/credit-education/ Руководство по скорингу от Experian] — образовательные статьи.
 +
* [https://scikit-learn.org/stable/modules/calibration.html Библиотека scikit-learn: калибровка и метрики] — реализация на Python.
 +
* [https://cbr.ru/credit/ Материалы Банка России по скорингу] — нормативные документы и рекомендации.
 +
* [https://www.kaggle.com/learn/intro-to-machine-learning Открытый курс «Введение в кредитный скоринг» на Kaggle] — практические ноутбуки.
 +
 
 +
Полный промпт, использованный при создании этой статьи, доступен на [[Обсуждение:Анкетный скоринг|странице обсуждения]].
-
[[Категория:Статистические критерии]]
+
[[Категория:Кредитный скоринг]]
-
[[Категория:Выбор модели]]
+
[[Категория:Машинное обучение]]
-
[[Категория:Теория информации]]
+
[[Категория:Приложения в экономике]]
 +
[[Категория:Финансовые технологии]]
 +
[[Категория:Управление рисками]]

Текущая версия

Статья написана с использованием LLM DeepSeek-V3 и проверена участником ~~Ilia Vdovin~~


Анкетный скоринг (англ. application scoring) — это система математических и статистических моделей, используемая банками и микрофинансовыми организациями для прогнозирования вероятности неисполнения заёмщиком своих обязательств по кредиту на основе данных, предоставленных в заявке-анкете. Анкетный скоринг является первым и одним из ключевых этапов кредитного конвейера; его результат непосредственно влияет на решение о выдаче кредита, сумму и процентную ставку.

Вместе с поведенческим скорингом (анализ транзакционной активности в процессе обслуживания долга) и коллекторским скорингом (оценка эффективности взыскания просроченной задолженности) анкетный скоринг образует триединую систему управления кредитным риском на протяжении всего жизненного цикла ссуды. Однако, в отличие от поведенческих и коллекторских моделей, анкетные карты опираются исключительно на статические признаки, известные до выдачи кредита, что делает их наиболее критичными с точки зрения предотвращения невозвратов.

Содержание

Историческая справка

Идея количественной оценки кредитоспособности зародилась в США в 1940‑х годах. Пионерами считаются инженер Уильям Фэйр (William Fair) и математик Эрл Айзек (Earl Isaac), которые в 1956 году основали компанию Fair, Isaac and Company (ныне FICO). Первая скоринговая карта была разработана для розничного кредитора и основывалась на эвристических весах, назначенных экспертами.

В 1960‑х годах, с развитием вычислительной техники и распространением кредитных карт, скоринг стал массовым. Ключевым прорывом стало использование логистической регрессии, которая обеспечивала статистически обоснованные вероятности дефолта. В 1970‑х годах был принят Закон о равных кредитных возможностях (Equal Credit Opportunity Act, ECOA), запретивший дискриминацию по расовому, половому и другим признакам, что потребовало формализации и документирования всех переменных, используемых в скоринговых картах. С 1990‑х годов скоринговые карты стали обязательным инструментом риск-менеджмента в большинстве стран, а с начала 2000‑х активно внедряются методы машинного обучения.

Постановка задачи

В наиболее распространённой постановке анкетный скоринг представляет собой задачу бинарной классификации с целевой переменной y \in \{0,1\}, где:

  • y = 1 соответствует «плохому» заёмщику (дефолт, обычно определяемый как просрочка более 90 дней в течение первых 12–24 месяцев после выдачи);
  • y = 0 — «хорошему» заёмщику (обслуживает кредит в соответствии с графиком).

Пусть X = (x_1, \dots, x_p) — вектор признаков, полученных из анкеты (возраст, доход, образование, трудовой стаж, семейное положение, наличие недвижимости, кредитная история из бюро и т.д.). Требуется построить модель f(X) = \mathbb{P}(y = 1 \mid X), которая возвращает оценку вероятности дефолта. На основе этой оценки принимается решение: если f(X) > \theta, то в выдаче кредита отказывают (или предлагают его на ужесточённых условиях), иначе — одобряют. Порог \theta выбирается исходя из бизнес-стратегии и аппетита к риску.

Этапы построения скоринговой карты

Жизненный цикл анкетной скоринговой карты включает следующие обязательные этапы.

1. Сбор и подготовка данных

Исходные данные извлекаются из внутренних банковских систем (заявки, выдачи, платежные календари) и внешних источников (кредитные бюро, государственные реестры). Обязательно проводится:

  • Очистка — удаление дубликатов, исправление очевидных ошибок (например, возраст 200 лет).
  • Обработка пропусков — используются простые методы (заполнение медианой, модой, средним), а также более продвинутые: создание отдельной категории «нет данных», применение индикаторов пропусков, использование моделей-заменителей (например, k-ближайших соседей для импутации).
  • Кодирование категориальных переменных — вместо one-hot-кодирования, которое порождает много разреженных признаков, классическим подходом является использование Weight of Evidence (WoE) и Information Value (IV), о которых сказано ниже.
  • Нормализация — для методов, чувствительных к масштабу (например, градиентный спуск), применяется стандартизация или min-max масштабирование.

2. Отбор и преобразование признаков

Ключевой этап в построении классической скоринговой карты — преобразование непрерывных и категориальных переменных в категории с последующей заменой их на веса WoE. Для каждой группы i вычисляется:

WoE_i = \ln\left(\frac{good_i}{bad_i}\right),

где good_i — доля «хороших» заёмщиков в группе i, а bad_i — доля «плохих». Это преобразование обеспечивает монотонность отношения признака к целевой переменной и позволяет работать с немонотонными зависимостями. Информативность признака оценивается через Information Value:

IV = \sum_{i} (good_i - bad_i) \cdot WoE_i.

Обычно признаки с IV < 0.02 исключаются как неинформативные, а признаки с IV > 0.3 считаются очень сильными. Кроме того, для борьбы с мультиколлинеарность используется анализ корреляционной матрицы и вычисление VIF (Variance Inflation Factor). Группировка (бакетирование) выполняется с помощью деревьев решений или методов динамического программирования, обеспечивающих статистическую значимость различий между соседними группами.

3. Выбор модели

Классический подход — логистическая регрессия:

f(X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_p x_p)}}.

Её преимущества: прозрачность, простота интерпретации, малые вычислительные затраты и наличие регуляризации (L1 — Лассо, L2 — гребневая регрессия или ElasticNet). Именно логистическая регрессия остаётся «золотым стандартом» для регуляторов.

Современные альтернативы:

  • Деревья решений — интерпретируемы, но склонны к переобучению.
  • Случайный лес и градиентный бустинг (XGBoost, LightGBM, CatBoost) — показывают высокую точность, особенно при большом числе признаков и сложных нелинейных зависимостях, однако требуют дополнительных методов для обеспечения интерпретируемости.
  • Нейронные сети — применяются при наличии очень больших объёмов данных и множества альтернативных источников (например, текстовые поля или данные с мобильного устройства), но крайне сложны для регуляторного одобрения из-за «чёрного ящика».

На практике часто используют гибридный подход: бустинг используется для выделения сложных паттернов, а финальная карта строится как логистическая регрессия на бустинговых прогнозах или на выходных признаках (например, на весах WoE).

4. Обучение и калибровка

Обучение проводится на исторической выборке, разбитой на обучающую и валидационную (обычно 70%/30%). Из-за сильного дисбаланса классов (доля дефолтов редко превышает 5–10%) применяются:

  • взвешивание объектов (class_weight);
  • техники семплирования: SMOTE, ADASYN или случайный оверсемплинг/андерсемплинг;
  • использование специализированных метрик, не чувствительных к дисбалансу (AUC-ROC, Gini).

Обязательной является калибровка вероятностей, особенно при использовании ансамблевых методов. Для этого применяется калибровка Платта или изотоническая регрессия — это гарантирует, что предсказанные вероятности соответствуют реальным частотам дефолта в каждой группе риска.

5. Оценка качества

Для оценки качества скоринговой карты используются следующие метрики:

  • AUC-ROC (Area Under ROC-curve) — способность модели разделять два класса; значение выше 0.75 считается хорошим, выше 0.85 — отличным.
  • Коэффициент Джини (Gini) = 2 * AUC — 1.
  • KS-статистика (Колмогорова-Смирнова) — максимальное различие между кумулятивными долями хороших и плохих заёмщиков; значение выше 0.3 признаётся удовлетворительным, выше 0.4 — хорошим.
  • Калибровочный график (сравнение средней предсказанной вероятности с фактической долей дефолтов в каждом дециле).
  • Таблица соответствия (рейтинг-скейл) — перевод вероятностей в целочисленные баллы (например, от 300 до 850), удобные для бизнес-пользователей.

6. Валидация

Валидация включает:

  • Кросс-валидацию (k-fold) на обучающей выборке.
  • Тестирование на отложенной выборке (hold-out test), не участвовавшей в подборе гиперпараметров.
  • Бэк-тестинг (back-testing) — проверку модели на исторических данных за предыдущие периоды, которые не были включены в обучение, чтобы оценить её стабильность во времени.

В соответствии с требованиями Базель III и указаниями Центрального банка, валидация должна проводиться независимой командой (не разработчиками модели), а результаты документироваться в отчёте о валидации.

7. Мониторинг и переобучение

После внедрения скоринговая карта требует постоянного мониторинга:

  • Стабильность популяции — отслеживание индекса стабильности совокупности (Population Stability Index, PSI) для каждого признака и для общего скора. При PSI > 0.25 требуется глубокая перекалибровка.
  • Дрейф признаков — сравнение распределений признаков на текущем потоке заявок с обучающей выборкой.
  • Анализ ошибок — вычисление фактической частоты дефолтов по каждому децилю прогнозной вероятности.

Периодичность переобучения (рефреша) обычно составляет 6–12 месяцев, однако при резких изменениях макроэкономической ситуации может потребоваться экстренная перекалибровка.

Ключевые проблемы и способы их решения

  • Дисбаланс классов решается не только взвешиванием, но и использованием скоринговых метрик (например, AUC) вместо accuracy, а также применением методов генерации синтетических объектов.
  • Пропуски в данных — важно не удалять объекты с пропусками, так как сам факт отсутствия информации часто несёт прогностическую силу. Поэтому используют индикаторные переменные (dummy для пропусков) и заполнение значениями, рассчитанными по аналогичным заёмщикам.
  • Мультиколлинеарность и переобучение контролируются регуляризацией, отбором признаков по IV и VIF, а также ограничением сложности модели (например, максимальная глубина дерева в бустинге).
  • Интерпретируемость остаётся главным препятствием для внедрения сложных моделей. Регулятор (в том числе ЦБ РФ) требует, чтобы банк мог объяснить клиенту причину отказа или изменения условий. Для этого используются глобальные и локальные методы объяснения: SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations), а также визуализация важности признаков (например, барчаты). В идеале модель должна быть монотонной по экономически значимым признакам (например, чем выше доход — тем ниже риск), что часто достигается специальными ограничениями при обучении.

Регуляторные требования

В России основным документом является Положение Банка России № 590-П (о порядке формирования резервов) и методические рекомендации по внутренним моделям оценки кредитного риска. Банки, использующие продвинутые подходы (IRB), обязаны проходить строгую валидацию моделей, включая стресс-тестирование. Базельский комитет по банковскому надзору в документе «Guidelines on credit risk modelling» (2020) требует:

  • прозрачности всех этапов построения;
  • независимой валидации;
  • документирования всех ограничений модели;
  • регулярного мониторинга и отчёта перед советом директоров.

Несоблюдение этих требований может привести к повышению нормативных резервов и, как следствие, к убыткам.

Современные тенденции

1. Альтернативные данные — использование цифрового следа (поведение в интернете, история мобильных платежей, геолокация) для скоринга клиентов, не имеющих традиционной кредитной истории. Это позволяет расширить финансовую доступность, однако требует осторожности с точки зрения приватности и регуляторных ограничений.

2. Объяснимый ИИ (XAI) — разработка методов, совмещающих высокую точность бустинга с полноценной интерпретируемостью, например, деревья решений с монотонными ограничениями и модели на основе правил.

3. Автоматизированное машинное обучение (AutoML) — инструменты для автоматического подбора моделей, гиперпараметров и преобразований признаков, позволяющие ускорить разработку скоринговых карт и снизить порог входа для небольших банков.

4. Непрерывный мониторинг с использованием онлайн-обучения — при большом потоке заявок (например, 10 тыс./день) возможно использование моделей, обновляющихся в реальном времени с использованием стохастического градиентного спуска.

Заключение

Анкетный скоринг остаётся фундаментальным инструментом управления кредитным риском. Несмотря на стремительное развитие машинного обучения, на практике доминирует гибридный подход, сочетающий статистическую надёжность логистической регрессии с прогностической силой ансамблевых методов. Главными вызовами на ближайшие годы являются сохранение интерпретируемости при усложнении моделей, адаптация к нестабильной макроэкономической среде и соблюдение регуляторных требований. Дальнейшее развитие скоринга будет связано с интеграцией поведенческих данных на этапе анкетирования, использованием графовых нейросетей для учёта связей между заёмщиками и переходом к непрерывной калибровке моделей в режиме реального времени.

Литература

  1. Thomas, L.C., Edelman, D.B., & Crook, J.N. (2002). Credit Scoring and Its Applications. SIAM. — Классический учебник по скорингу, охватывающий статистические методы и практику.
  2. Siddiqi, N. (2017). Intelligent Credit Scoring: Building and Implementing Better Credit Risk Scorecards. Wiley. — Подробное руководство по построению скоринговых карт, включая WoE, IV и логистическую регрессию.
  3. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer. — Главы, посвящённые регуляризации, деревьям и ансамблям.
  4. Basel Committee on Banking Supervision (2020). Guidelines on credit risk modelling and stress-testing. BIS. — Основной регуляторный документ.
  5. Molnar, C. (2022). Interpretable Machine Learning: A Guide for Making Black Box Models Explainable. Leanpub. — Практическое руководство по SHAP, LIME и другим методам интерпретации.

Полезные ресурсы

Полный промпт, использованный при создании этой статьи, доступен на странице обсуждения.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%90%D0%BD%D0%BA%D0%B5%D1%82%D0%BD%D1%8B%D0%B9_%D1%81%D0%BA%D0%BE%D1%80%D0%B8%D0%BD%D0%B3»