Шкала измерения

Материал из MachineLearning.

Уровни измерения (также шкалы измерения; Шаблон:Lang-en) — типология, классифицирующая измерительные шкалы в зависимости от типа математических соотношений, которые сохраняются между значениями шкалы и измеряемыми эмпирическими свойствами объектов. Понятие является фундаментальным для статистики, анализа данных и машинного обучения, поскольку определяет множество допустимых операций с данными и корректных методов их обработки.

Содержание

1 История
2 Классификация шкал
3 Значение для анализа данных и машинного обучения
4 Циклические признаки как особый случай
5 Примечания
6 Литература

История

Классификация уровней измерения была предложена американским психологом и основателем психофизики Стэнли Смитом Стивенсом в 1946 году в статье «О теории шкал измерения» (On the Theory of Scales of Measurement)^[1]^[1]. Стивенс предположил, что характер измерительной шкалы определяется группой допустимых преобразований значений, при которых не теряется исходная информация об объектах. Он выделил четыре уровня, образующих иерархию: номинальный, порядковый, интервальный и уровень отношений^[1].

Первоначально эта типология была разработана для психологических измерений, но впоследствии стала общепринятой в социологии, экономике и других науках. Несмотря на широкое распространение, подход Стивенса подвергался критике. Исследователи отмечали, что строгое следование его предписаниям часто игнорируется на практике, а сама типология служит скорее методической эвристикой, нежели жестким ограничением^[1]. Тем не менее, понимание уровней измерения остаётся критически важным для выбора корректных статистических методов и алгоритмов анализа данных.

Классификация шкал

В основе классификации лежит понятие допустимого преобразования шкалы — функции $f(x)$ , применение которой ко всем значениям шкалы сохраняет все существенные эмпирические отношения между объектами.

Номинальная шкала (шкала наименований)

Номинальная шкала (nominal scale) — это шкала, значения которой служат лишь для различения объектов и их отнесения к определённым категориям. Единственной допустимой операцией является проверка на равенство ( $=$ ) или неравенство ( $\ne$ )^[1]^[1]. Числа, присвоенные категориям, не имеют количественного смысла: их нельзя сравнивать по величине, складывать или усреднять. Допустимым преобразованием является любая взаимно-однозначная (инъективная) замена меток (перестановка).

Примеры: пол (мужской/женский), национальность, тип заболевания, код региона, идентификационный номер.

Допустимые статистики: частоты (количество объектов в каждой категории), мода, таблицы сопряжённости, критерий $\chi^2$ .

Порядковая шкала (ординальная шкала)

Порядковая шкала (ordinal scale) не только классифицирует объекты, но и задаёт отношение порядка между категориями, позволяя ранжировать их по степени выраженности измеряемого свойства^[1]. Однако интервалы между категориями не равны и не имеют количественного смысла^[1]. Допустимыми преобразованиями являются любые монотонные (строго возрастающие или убывающие) функции $f(x)$ , которые сохраняют порядок: если $x_1 < x_2$ , то $f(x_1) < f(x_2)$ .

Примеры: оценки по шкале Лайкерта («очень плохо», «плохо», «хорошо», «отлично»), уровни образования (начальное, среднее, высшее), социально-экономический статус, результаты соревнований (места с 1-го по N-е).

Допустимые статистики: медиана, квартили, процентили, ранговые корреляции (коэффициент Спирмена, коэффициент Кендалла).

Интервальная шкала

Интервальная шкала (interval scale) обладает свойствами порядковой шкалы и, кроме того, позволяет измерить и сравнивать расстояния (интервалы) между значениями. Это становится возможным благодаря введению единицы измерения. Однако нулевая точка на такой шкале выбирается произвольно и не означает отсутствия измеряемого свойства. Допустимыми преобразованиями являются линейные преобразования вида $f(x) = a \cdot x + b$ , где $a > 0$ ^[1]. При таком преобразовании сохраняется отношение интервалов, но не отношение самих значений.

Примеры: температура по шкале Цельсия или Фаренгейта, календарные даты (например, годы от Рождества Христова), коэффициент интеллекта (IQ).

Допустимые статистики: все статистики для порядковой шкалы, плюс среднее арифметическое, стандартное отклонение, коэффициент корреляции Пирсона.

Шкала отношений

Шкала отношений (ratio scale) является наиболее информативной. Она обладает всеми свойствами интервальной шкалы и, вдобавок, имеет естественную, содержательно интерпретируемую нулевую точку, которая соответствует полному отсутствию измеряемого свойства. Это позволяет говорить о том, во сколько раз одно значение больше другого. Допустимым преобразованием является только преобразование подобия (масштабирование) $f(x) = a \cdot x$ , где $a > 0$ ^[1].

Примеры: длина, масса, время (длительность), возраст, доход, абсолютная температура (шкала Кельвина).

Допустимые статистики: допустимы все статистики, включая вычисление среднего геометрического, коэффициента вариации и любых отношений.

Важно отметить, что для шкалы Цельсия нуль выбран произвольно (температура замерзания воды), поэтому утверждение «20 °C в два раза теплее, чем 10 °C» некорректно. Для шкалы Кельвина (нуль — абсолютный нуль) подобное утверждение справедливо^[1].

Уровни измерения и допустимые преобразования^[1]^[1]
Уровень измерения	Допустимое преобразование $f(x)$	Сохраняемые отношения
Номинальный	$f(x)$ — любая взаимно-однозначная функция	Равенство ( $=$ )
Порядковый	$f(x)$ — любая строго монотонная функция	Порядок ( $<, >$ )
Интервальный	$f(x) = a \cdot x + b,\ a > 0$	Отношения интервалов ( $(x_1-x_2)/(x_3-x_4)$ )
Отношений	$f(x) = a \cdot x,\ a > 0$	Отношения значений ( $x_1/x_2$ )

Значение для анализа данных и машинного обучения

В прикладных задачах анализа данных и машинного обучения тип шкалы является ключевым фактором при выборе функции потерь, метода кодирования признаков и стратегии предобработки данных.

Влияние на выбор функции потерь

Выбор функции потерь определяется тем, какое сравнение прогноза модели и истинного значения является содержательным.

Для интервальных и относительных шкал (задачи регрессии) имеет смысл сравнение по величине ошибки. Поэтому используются функции, основанные на разности, например, MSE (Mean Squared Error), MAE (Mean Absolute Error), Huber Loss. Эти функции штрафуют модель за абсолютное или квадратичное отклонение предсказания от истинного значения.
Для номинальных шкал (задачи классификации) сравнение по величине не имеет смысла; важно, совпадает ли предсказанный класс с истинным. Поэтому используются функции, оценивающие качество вероятностных предсказаний, например, Cross-Entropy (логарифмическая функция потерь). Для бинарной классификации используется Binary Cross-Entropy.
Для порядковых шкал (задачи порядковой регрессии) используются специализированные функции потерь, учитывающие порядок классов, например, Cumulative Link Models или потери, штрафующие за нарушение порядка предсказаний^[1].

Влияние на методы кодирования категориальных признаков

Алгоритмы машинного обучения, как правило, работают с числовыми данными, поэтому категориальные признаки требуют специального кодирования.

Номинальные признаки (неупорядоченные категории). Наиболее распространённым является One-Hot Encoding (метод фиктивных переменных), который создаёт бинарный вектор для каждой категории. Это универсальный метод, применимый в большинстве алгоритмов (Линейная регрессия, SVM, нейронные сети). В случае большого числа категорий используется Target Encoding (среднее целевой переменной по категории) с регуляризацией для предотвращения переобучения. Этот метод особенно эффективен в древовидных моделях (XGBoost, CatBoost, LightGBM), так как позволяет извлечь информацию о связи категории с целевой переменной^[1].
Порядковые признаки (упорядоченные категории). Используется Ordinal Encoding (порядковое кодирование), при котором каждой категории присваивается целое число в соответствии с её рангом (например, «низкий»=1, «средний»=2, «высокий»=3). Такое кодирование сохраняет порядок и может использоваться в алгоритмах, чувствительных к ранжированию (например, в деревьях решений). Однако его применение в линейных моделях предполагает, что расстояния между категориями равны, что не всегда верно. В таких случаях можно использовать сглаженное порядковое кодирование или специализированные контрасты.

Влияние на нормализацию и стандартизацию

Предобработка числовых признаков также зависит от уровня измерения.

Для шкал интервалов и отношений стандартной практикой является стандартизация (Z-нормализация) или нормализация (Min-Max Scaling). Эти процедуры центрируют и масштабируют данные, что необходимо для алгоритмов, чувствительных к масштабу признаков (градиентный спуск, SVM, PCA)^[1]. Эти преобразования допустимы для данных типов шкал, так как не нарушают их свойств.
Для порядковых шкал применение стандартизации или нормализации не имеет строгого математического обоснования, так как среднее и дисперсия для порядковых данных не являются репрезентативными статистиками. Однако на практике это иногда делается для совместимости с алгоритмами. Более корректным подходом является использование ранговых преобразований.
Для номинальных признаков после кодирования (например, One-Hot Encoding) применение стандартизации к полученным бинарным признакам обычно не требуется и может исказить их интерпретацию, хотя иногда используется для улучшения сходимости градиентных методов в нейронных сетях.

Циклические признаки как особый случай

Циклические признаки (circular features), такие как час дня, день недели, месяц года, не полностью описываются классической типологией Стивенса, так как обладают свойствами как порядковой, так и интервальной шкалы, но с важным дополнением — периодичностью. Значение 23:59 и 00:00 находятся рядом, несмотря на максимальную разницу в числовом представлении^[1].

Проблема: использование наивного числового кодирования (например, 0..23) нарушает свойство непрерывности, так как расстояние между 23 и 0 оказывается большим, что вводит алгоритм в заблуждение. Неприменимость стандартных шкал связана с тем, что группа автоморфизмов для циклического признака включает в себя сдвиг по модулю периода.
Решение: циклические признаки преобразуются в две компоненты с помощью тригонометрических функций, проецируя их на единичную окружность:

 
 
 где  — значение признака,  — период (24 для часа, 7 для дня недели). Полученные признаки  можно рассматривать как значения на интервальной шкале (поскольку они являются координатами на плоскости), что позволяет корректно вычислять расстояния и использовать их в любых алгоритмах машинного обучения^[1].

Примечания

Литература

Stevens S. S. On the Theory of Scales of Measurement // Science. — 1946. — Т. 103. — № 2684. — С. 677–680.
Anderson T. W. An Introduction to Multivariate Statistical Analysis. — 3rd ed. — Hoboken: Wiley-Interscience, 2003. — ISBN 978-0471360919
Бабич Н.С., Хоменко В.И. Типология уровней измерения в социологии: традиционные и альтернативные подходы // Социология: методология, методы, математическое моделирование. — 2012. — № 35. — С. 5-28.
Kuhn M., Johnson K. Feature Engineering and Selection: A Practical Approach for Predictive Models. — CRC Press, 2019. — ISBN 978-1138079229
Géron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. — 2nd ed. — O'Reilly Media, 2019. — ISBN 978-1492032649
Zheng A., Casari A. Feature Engineering for Machine Learning. — O'Reilly Media, 2018. — ISBN 978-1491953242

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A8%D0%BA%D0%B0%D0%BB%D0%B0_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D1%8F»