Участник:Platonova.Elena/Песочница
Материал из MachineLearning.
Строка 35: | Строка 35: | ||
С учетом <tex>p_j(x)\equiv \varphi(x, \theta_j) = \theta \cdot exp{-\theta \cdot x}</tex> получаем ОМП <tex>\theta </tex> для экспоненциального закона: | С учетом <tex>p_j(x)\equiv \varphi(x, \theta_j) = \theta \cdot exp{-\theta \cdot x}</tex> получаем ОМП <tex>\theta </tex> для экспоненциального закона: | ||
- | <center><tex> | + | <center><tex> \frac{\partial}{\partial \theta_j}\sum_{i=1}^mg_{ij}(ln \theta_j - \theta_jx_i)=0 |
- | \frac{\partial}{\partial \theta_j}\sum_{i=1}^mg_{ij}(ln \theta_j - \theta_jx_i)=0 | + | |
\theta_j=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} | \theta_j=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} | ||
</tex></center> | </tex></center> | ||
В двумерном случае: | В двумерном случае: | ||
- | <center><tex> | + | <center><tex> \theta_{jx}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} |
- | \theta_{jx}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^mx_ig_{ij}} | + | |
\theta_{jy}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^my_ig_{ij}} | \theta_{jy}=\frac{\sum_{i=1}^mg_{ij}}{\sum_{i=1}^my_ig_{ij}} | ||
</tex> | </tex> |
Версия 00:37, 4 января 2010
Сравнение работы ЕМ-алгоритма и k-means для смесей с экспоненциальным распределением компонент. (само будет в заголовке)
Краткое описание исследуемых алгоритмов
ЕМ алгоритм
Основа EM-алгоритма - предположение, что исследуемое множество данных может быть представлено с помощью линейной комбинации распределений, а цель - оценка параметров распределения, которые максимизируют логарифмическую функцию правдоподобия, используемую в качестве меры качества модели.
Пусть рассматривается смесь из распределений, каждое описывается функцией правдоподобия
- априорная вероятность
-й компоненты. Функции правдоподобия принадлежат параметрическому семейству распределений
и отличаются только значениями параметра
Вход:
– общая длина выборки
Выход:
параметры распределения и весы компонент.
ОМП θ
для одно- и двумерного случая экспоненциального распределения.
Необходимо максимизировать
Из Лагранжиана следует:
j=1,...,k
j=1,...,k.
С учетом получаем ОМП
для экспоненциального закона:
В двумерном случае:
k-means (k ближайших соседей)
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |