Статистический анализ данных (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Введение 1.2 Параметрическая проверка гипотез 1.3 Непараметрическая проверка гипотез 1.4 Анализ таблиц сопряженности (кросстабуляции) 1.5 Дисперсионный анализ (ANOVA) 1.6 Корреляционный анализ 1.7 Линейный регрессионный анализ 1.8 Анализ регрессионных моделей 1.9 Анализ регрессионных остатков 1.10 Непараметрическая регрессия 1.11 Анализ рисков. Пробит- и логит-анализ 1.12 Анализ временных рядов 1.13 Адаптивные методы прогнозирования 1.14 Анализ панельных данных 1.15 Выборочный анализ 2 Литература 3 Ссылки 4 Подстраницы

Курс знакомит студентов с основными задачами и методами прикладной статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

• постановка задачи;
• примеры прикладных задач из области экономики, социологии, производства, медицины;
• базовые предположения и границы применимости;
• описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
• достоинства, недостатки, ограничения, «подводные камни»;
• сравнение с другими методами.

Курс читается студентам 5 курса кафедры Математические методы прогнозирования ВМиК МГУ, начиная с 2007 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу «Математические методы распознавания образов»), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП).

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

• Понятия простой выборки и статистики. Примеры статистик: моменты, асимметрия и эксцесс, вариационный ряд и порядковые статистики, эмпирическое распределение.
• Проверка статистических гипотез, основные понятия: уровень значимости, пи-величина (p-value), критическая область, критическая функция, ошибки I и II рода. Односторонние и двусторонние критические области.
• Свойства критериев: несмещённость, состоятельность, равномерная мощность.
• Статистические точечные оценки и их свойства: несмещённость, состоятельность, эффективность, достаточность, робастность.
• Интервальные оценки, понятия доверительного интервала и коэффициента доверия. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы [Лапач, 104].

Параметрическая проверка гипотез

• Нормальные параметрические критерии для проверки гипотез: гипотезы о положении, гипотезы о рассеивании [Лапач, §3.2]. Примеры прикладных задач из областей медицины, агрономии, маркетинга.
• Систематизация критериев.
• Гипотеза о равенстве средних: критерий Стьюдента для одной и двух выборок, связанные выборки, гипотеза сдвига, метод множественных сравнений Шеффе, метод LSD. Пример: задача формирования ценовых коридоров.
• Гипотеза о равенстве дисперсий: критерий Фишера, критерий Кокрена, критерий Бартлета.
• Критерии нормальности: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат (Пирсона). Исторический пример: проверка закона Менделя А.Н.Колмогоровым [Тюрин, 306]. Упрощённые проверки нормальности по асимметрии и эксцессу. Эмпирические подтверждения ненормальности реальных измерений [Орлов, стр. 71–77].

Непараметрическая проверка гипотез

• Непараметрические ранговые критерии для проверки гипотез: Критерий Уилкоксона-Манна-Уитни, гипотезы о положении, гипотезы о рассеивании [Лапач, §3.3].
• Элементы теории измерений: номинальные, порядковые и количественные переменные; инварианты. Разновидности средних: по Коши, по Колмогорову, мода, медиана. Среднее в порядковой шкале [Орлов, гл. 3]. Пример: маркетинговое исследование привлекательности продуктов (образовательных услуг); важность постановки вопросов при формировании анкет [Орлов, 229].
• Вариационный ряд, ранги и связки.
• Ранговые критерии: критерий Уилкоксона-Манна-Уитни, критерий знаков, критерий Уилкоксона двухвыборочный, критерий Уилкоксона для связных выборок, критерий Краскела-Уоллиса, критерий Зигеля-Тьюки, медианный критерий: одновыборочный и двухвыборочный.
• Доверительные интервалы для медианы (Уилкоксона-Мозеса) и сдвига (Уилкоксона-Тьюки).
• Множественные сравнения на основе рангов Фридмана.

Анализ таблиц сопряженности (кросстабуляции)

[Лапач, 204, 316, Лагутин, Т2:174, Кулаичев, 162].

• Критерий согласия Пирсона: простая гипотеза, сложная гипотеза.
• Таблица сопряженности: K×L и 2×2.
• Парадокс хи-квадрат [Лагутин, Т2:84].
• Точный тест Фишера.
• Понятие закономерности в алгоритмах классификации, статистические и логические закономерности. Примеры: посещаемость сайтов пользователями Интернет, анализ результатов голосования, маркетинговые исследования.

Дисперсионный анализ (ANOVA)

[Лапач, 193, Кулаичев, 170].

• Модели факторного эксперимента. Примеры: факторы, влияющие на успешность решения математических задач; факторы, влияющие на объёмы продаж.
• Однофакторная параметрическая модель: метод Шеффе.
• Однофакторная непараметрическая модель: критерий Краскела-Уоллиса, критерий Джонкхиера.
• Общий случай модели с постоянными факторами, теорема Кокрена.
• Двухфакторная непараметрическая модель: критерий Фридмана [Лапач, 203], критерий Пейджа. Примеры: сравнение эффективности методов производства, агротехнических приёмов.
• Двухфакторный нормальный анализ.
• Ковариационный анализ (постановка задачи).

Корреляционный анализ

[Лапач, 174].

• Корреляция Пирсона, значимость коэффициента корреляции (критерий Стьюдента).
• Частная корреляция.
• Ранговая корреляция, коэффициент корреляции Спирмена, коэффициент корреляции Кенделла.
• Конкордация Кенделла.

Линейный регрессионный анализ

• Многомерная линейная регрессия. Примеры прикладных задач. Метод наименьших квадратов.
• МНК-решение и его запись через сингулярное разложение. Остаточная сумма квадратов (RSS).
• Основные предположения многомерной линейной регрессии. Статистические свойства МНК-оценок без предположения нормальности.
• Статистические свойства МНК-оценок при предположении нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозного значения отклика.

Анализ регрессионных моделей

• Анализ структуры линейной регрессионной модели. Значимость коэффициентов линейной регрессии (проверка равенства коэффициентов нулю), вложенные модели линейной регрессии, критерий Фишера. Шаговая регрессия.
• Проверка адекватности модели. Выборочный коэффициент детерминации. Дисперсия остатков.
• Проблема мультиколлинеарности. Методы понижения размерности: ридж-регрессия, лассо Тибширани, параметр селективности.

Анализ регрессионных остатков

• Анализ регрессионных остатков: визуальный анализ.
• Непараметрические тесты: критерий Уилкоксона-Манна-Уитни, критерий Зигеля-Тьюки, критерий знаков, критерий серий, критерий экстремумов.
• Проверка нормальности остатков: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат Пирсона, критерии асимметрии и эксцесса.
• Тест на корреляцию остатков, статистика Дарбина-Уотсона.

Непараметрическая регрессия

• Непараметрическая регрессия: ядерное сглаживание, формула Надарая-Ватсона. Разложение ошибки на вариацию и смещение. Выбор ядра и ширины окна. Окна переменной ширины. Доверительный интервал прогнозного значения отклика. Проблема выбросов, Алгоритм LOWESS.
• Совмещение многомерной линейной регрессии и одномерного сглаживания: метод настройки с возвращениями (backfitting).
• Примеры прикладных задач: анализ стиля управления инвестиционным портфелем, анализ деятельности паевых инвестиционных фондов.
• Регуляризация коэффициентов регрессии, медленно изменяющихся во времени.

Анализ рисков. Пробит- и логит-анализ

[Лапач, 387].

• Пробит-анализ и логит-анализ. Приложения в токсикологии, страховании, эконометрике (оценивание спроса). Оценивание апостериорных вероятностей в задачах классификации. Анализ кредитных рисков: оценивание вероятности дефолта, имитационное моделирование.
• Анализ выживаемости. Функция выживаемости и функция интенсивности рисков. Процедура Каплана-Мейера. Доверительный интервал выживаемости.
• Сравнение двух функций выживаемости: логранговый критерий, критерий Гехана.

Анализ временных рядов

[Лукашин]

• Временной ряд. Примеры: прогнозирование объёмов грузоперевозок, объёмов продаж, спроса и цен на электроэнергию.
• Основные компоненты эконометрических временных рядов: тренд, сезонность, календарные эффекты. Аддитивная модель временного ряда. Постановка линейной регрессионной задачи и МНК. Регуляризация сезонного профиля на временных рядах с малым числом периодов.
• Статистические тесты для проверки гипотезы тренда: критерий Аббе-Линника, критерий Кокса-Стюарта, критерий Фостера-Стюарта.
• Автокорреляционная функция. Коррелограмма и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции.

Адаптивные методы прогнозирования

[Лукашин]

• Модель Брауна — экспоненциальное сглаживание.
• Модель Хольта — линейный тренд без сезонности.
• Модель Хольта-Уинтерса — мультипликативный тренд и сезонность.
• Модель Тейла-Вейджа — аддитивный тренд и сезонность.
• Анализ адекватности адаптивных моделей, скользящий контрольный сигнал.
• Адаптация параметров адаптации. Модель Тригга-Лича.
• Обнаружение структурных изменений. Критерий Чоу.
• Адаптивная селекция моделей прогнозирования.
• Адаптивная композиция моделей прогнозирования.

Анализ панельных данных

[Магнус]

• Примеры эконометрических задач: анализ стран, фирм, домашних хозяйств, телезрителей.
• Объединённая модель панельных данных.
• Модель панельных данных с фиксированными эффектами.
• Модель панельных данных со случайными эффектами.
• Модель панельных данных с временны́ми эффектами.
• Модель несвязанных регрессий.
• Проблема выбора модели: F-тест Фишера, критерий множителей Лагранжа, критерий Хаусмана.
• Ротационная панель.

Выборочный анализ

• Задачи выборочного анализа. Простой случайный выбор. Приложения в социологии, маркетинге [Лапач, 312, Орлов].
• Пропорциональный выбор и преимущества стратификации. Оценки достаточной длины выборки [Лапач, 361]. Другие методы выбора: квотированный, кластерный, многоступенчатый кластерный.
• Выборочный контроль качества [Лапач, 351]. Одноступенчатый и двухступенчатый план контроля. Оперативная характеристика плана контроля. Парадоксы выборочного контроля.

Литература

1. Лапач С. Н. , Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002.
2. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
3. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
4. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
5. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
6. Орлов А. И. Эконометрика. — М.: Экзамен, 2003.
7. Айвазян С. А., Мхитарян В. С. Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.
8. Айвазян С. А. Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.
9. Кулаичев А. П. Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.
10. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. — М.: Инфра-М, 2003.
11. Вучков И., Бояджиева А., Солаков Е. Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.
12. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)

Ссылки

• Википедия: Проверка статистических гипотез
• Википедия: Статистический критерий
• Статистический Портал StatSoft
• Электронный статистический словарь StatSoft

Подстраницы

• Список студентов каф.ММП ВМиК (2008 год)
• Практические задания для студентов каф.ММП ВМиК (2009 год)
• Практические задания для студентов каф.ММП ВМиК (2010 год)