Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/Задание 1
Материал из MachineLearning.
Строка 47: | Строка 47: | ||
Рассматривается модель 2 с параметрами <tex>a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5</tex>. Провести на компьютере следующие исследования: | Рассматривается модель 2 с параметрами <tex>a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5</tex>. Провести на компьютере следующие исследования: | ||
# Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | # Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | ||
- | # Пронаблюдать, как происходит уточнение прогноза для величины <tex>c</tex> по мере прихода новой косвенной информации. Для этого построить | + | # Пронаблюдать, как происходит уточнение прогноза для величины <tex>c</tex> по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений <tex>p(c), p(c|b), p(c|a,b), p(c|a,b,d)</tex> при параметрах <tex>a,b,d</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. |
# Определить, какая из величин <tex>a,b,d</tex> вносит больший вклад в уточнение прогноза для величины <tex>c</tex> (в смысле дисперсии распределения). Для этого убедиться в том, что <tex>\mathbb{D}[c|d]<\mathbb{D}[c|b]</tex> и <tex>\mathbb{D}[c|d]<\mathbb{D}[c|a]</tex> для любых допустимых значений <tex>a,b,d</tex>. Найти множество точек <tex>(a,b)</tex> таких, что <tex>\mathbb{D}[c|b]<\mathbb{D}[c|a]</tex>. Являются ли множества <tex>\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми? | # Определить, какая из величин <tex>a,b,d</tex> вносит больший вклад в уточнение прогноза для величины <tex>c</tex> (в смысле дисперсии распределения). Для этого убедиться в том, что <tex>\mathbb{D}[c|d]<\mathbb{D}[c|b]</tex> и <tex>\mathbb{D}[c|d]<\mathbb{D}[c|a]</tex> для любых допустимых значений <tex>a,b,d</tex>. Найти множество точек <tex>(a,b)</tex> таких, что <tex>\mathbb{D}[c|b]<\mathbb{D}[c|a]</tex>. Являются ли множества <tex>\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми? | ||
# Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)</tex>. | # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)</tex>. | ||
Строка 54: | Строка 54: | ||
== Вариант 2 == | == Вариант 2 == | ||
+ | Рассматривается модель 2 с параметрами <tex>a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5</tex>. Провести на компьютере следующие исследования: | ||
+ | # Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | ||
+ | # Пронаблюдать, как происходит уточнение прогноза для величины <tex>b</tex> по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений <tex>p(b), p(b|a), p(b|a,d)</tex> при параметрах <tex>a,d</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. | ||
+ | # Определить, при каких соотношениях параметров <tex>p_1,p_2,p_3</tex> изменяется относительная важность параметров <tex>a,b,d</tex> для оценки величины <tex>c</tex>. Для этого найти следующие множества: <tex>\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex>, <tex>\{(p_1,p_3)|\mathbb{D}[c|d]<\mathbb{D}[c|a]\}</tex> и <tex>\{(p_2,p_3)|\mathbb{D}[c|b]<\mathbb{D}[c|d]\}</tex>. Являются ли множества <tex>\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми? | ||
+ | # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)</tex>. | ||
+ | |||
+ | Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>. | ||
== Вариант 3 == | == Вариант 3 == |
Версия 20:01, 10 октября 2010
Внимание! Текст задания находится в стадии формирования. Просьба не рассматривать текущий вариант текста как окончательный вид задания. |
Начало выполнения задания: 11 октября 2010 г.
Срок сдачи: 25 октября 2010 г., 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Вариант 2
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, при каких соотношениях параметров изменяется относительная важность параметров для оценки величины . Для этого найти следующие множества: , и . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .