Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/Задание 1
Материал из MachineLearning.
(→Вариант 2) |
|||
Строка 57: | Строка 57: | ||
# Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | # Найти математические ожидания и дисперсии априорных распределений для всех параметров <tex>a, b, c, d</tex>. | ||
# Пронаблюдать, как происходит уточнение прогноза для величины <tex>b</tex> по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений <tex>p(b), p(b|a), p(b|a,d)</tex> при параметрах <tex>a,d</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. | # Пронаблюдать, как происходит уточнение прогноза для величины <tex>b</tex> по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений <tex>p(b), p(b|a), p(b|a,d)</tex> при параметрах <tex>a,d</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. | ||
- | # Определить, при каких соотношениях параметров <tex>p_1,p_2 | + | # Определить, при каких соотношениях параметров <tex>p_1,p_2</tex> изменяется относительная важность параметров <tex>a,b</tex> для оценки величины <tex>c</tex>. Для этого найти множество точек <tex>\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> при <tex>a,b</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества <tex>\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(p_1,p_2)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми? |
- | # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p( | + | # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(b|a),p(b|a,d),p(d)</tex>. |
Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>. | Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>. |
Версия 20:08, 10 октября 2010
Внимание! Текст задания находится в стадии формирования. Просьба не рассматривать текущий вариант текста как окончательный вид задания. |
Начало выполнения задания: 11 октября 2010 г.
Срок сдачи: 25 октября 2010 г., 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Вариант 2
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, при каких соотношениях параметров изменяется относительная важность параметров для оценки величины . Для этого найти множество точек при , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .