Обсуждение:Слабая вероятностная аксиоматика

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Вопрос о гипотезе о новой выборке)
Строка 20: Строка 20:
* Может ли слабая вероятностная аксиоматика дать какие-либо количественные (объективные) оценки в задаче с заданной выборкой <tex>\{X_1,...,X_N\}</tex> объема ''N'' для следующей гипотезы: вероятность появления в будущем (новой) выборки <tex>\{X_1,...,X_n\}</tex> объема <tex>n = r N</tex>, <tex>r\approx 0.5 < 1</tex>, такая же, как и вероятность выбора последовательности данных <tex>\{X_1,...,X_n\}</tex> из имеющейся выборки (то есть, такая же, как вероятность выбора подвыборки меньшего объема). — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
* Может ли слабая вероятностная аксиоматика дать какие-либо количественные (объективные) оценки в задаче с заданной выборкой <tex>\{X_1,...,X_N\}</tex> объема ''N'' для следующей гипотезы: вероятность появления в будущем (новой) выборки <tex>\{X_1,...,X_n\}</tex> объема <tex>n = r N</tex>, <tex>r\approx 0.5 < 1</tex>, такая же, как и вероятность выбора последовательности данных <tex>\{X_1,...,X_n\}</tex> из имеющейся выборки (то есть, такая же, как вероятность выбора подвыборки меньшего объема). — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
: Да. Надо только уточнить, <tex>X_i</tex> принимают дискретное множество значений или это непрерывная величина. От этого многое зависит. — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)''
: Да. Надо только уточнить, <tex>X_i</tex> принимают дискретное множество значений или это непрерывная величина. От этого многое зависит. — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)''
-
:: В моем случае - дискретные величины. | [[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)
+
:: В моем случае — дискретные величины. | [[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)
* Понятно, что эта гипотеза становится менее привлекательной с увеличением r, но для r<0.5 — гипотеза выглядит вполне разумной. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
* Понятно, что эта гипотеза становится менее привлекательной с увеличением r, но для r<0.5 — гипотеза выглядит вполне разумной. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
: Оценка выводится для любых ''N'' и ''n''.
: Оценка выводится для любых ''N'' и ''n''.
-
:: Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом ''n'' должна уменьшаться. | [[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)
+
:: Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом ''n'' должна уменьшаться. — ''[[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)''
 +
::: Так и есть, и соотвествующая теорема в слабой аксиоматике говорит точно, на сколько уменьшается надёжность. — ''[[Участник:Vokov|К.В.Воронцов]] 00:31, 12 июля 2008 (MSD)''
* Принятие этой гипотезы, на первый взгляд, дает хорошую базу для анализа задач, в которых постоянно происходит накопление новых данных. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
* Принятие этой гипотезы, на первый взгляд, дает хорошую базу для анализа задач, в которых постоянно происходит накопление новых данных. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)''
: Займёшься? ;) — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)''
: Займёшься? ;) — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)''
-
:: Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку с штрафной функцией, то тем более да :). | [[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)
+
:: Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку со [[Обсуждение участника:ADY#Где можно почитать об оценивании с функцией штрафа?|штрафной функцией]], то тем более да :). — ''[[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)''
 +
::: Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Пора встречаться ;). — ''[[Участник:Vokov|К.В.Воронцов]] 00:31, 12 июля 2008 (MSD)''

Версия 20:31, 11 июля 2008

Мне трудно судить о преимуществах «слабой вероятностной аксиоматики» (и не всегда понимаю, зачем копаться в построении новой аксиоматики, если есть уже готовые :). Да, иногда теоремы формулируются вместе с ново-введенными понятиями и объектами, и, таким образом, очень часто вся сложность первоначальной задачи упрятывается в эти объекты (с которыми не понятно, что делать на практике), но таков естественный путь развития математики как науки (будем ждать, пока не появится новый математик и не придумает новую теорему, как же эти объекты строить в практической задаче с гарантированной точность/погрешностью)… Мне представляется, что бесконечность — естественное математическое понятие и бороться с ним не нужно :)…), но могу поделиться ссылкой на книгу, на случай, если она окажется по теме :) : «Combinatorial Methods in Density Estimation (Luc Devroye, Gabor Lugosi; Springer, 2000)» (меня она привлекла на столько, что пришлось ее даже купить :)). — ADY 19:06, 23 апреля 2008 (MSD)

За ссылку огромное спасибо; буду доставать — К.В.Воронцов 20:04, 10 июля 2008 (MSD)

Возникает ассоциация с «конструктивной математикой», где исследуется, какую часть математики можно получить, не пользуясь доказательством «от противного». Это действительно любопытный вопрос.

Также и «слабая вероятностная аксиоматика» интересна в теоретическом плане. И от «лишних» аксиом действительно лучше отказываться. Но у меня есть подозрение, что для многих практических задач «слабая вероятностная аксиоматика» окажется недостаточно мощной, чтобы адекватно отразить их особенности. Nvm 18:41, 24 июня 2008 (MSD)

Мне тоже так кажется. Но оптимизм вытекает из того, что искусственное суммирование (усреднение) по всем перестановкам независимой выборки является ключевым приёмом при доказательстве огромного количества хорошо известных вероятностных фактов. Вот и возникла идея «вытащить его наружу» и обозвать «слабой аксиоматикой». Но суть, конечно, не в названии. Хочется выяснить границы применимости этого приёма и попробовать их расширить; а это большая работа — К.В.Воронцов 20:04, 10 июля 2008 (MSD)

Комментарии

  • Опираться только на конечные выборки — действительно интересный шаг.
  • Нет ли известных мостов между теории «слабой вероятностной аксиоматики» и «теории конечных автоматов» (на первый взгляд, теория конечных автоматов могла бы помочь с конструированием и анализом сложных дискретных распределений)? — ADY 19:00, 7 июля 2008 (MSD)
Наверняка есть. Займёшься? ;) — К.В.Воронцов 20:04, 10 июля 2008 (MSD)

Вопрос о гипотезе о новой выборке

  • Может ли слабая вероятностная аксиоматика дать какие-либо количественные (объективные) оценки в задаче с заданной выборкой \{X_1,...,X_N\} объема N для следующей гипотезы: вероятность появления в будущем (новой) выборки \{X_1,...,X_n\} объема n = r N, r\approx 0.5 < 1, такая же, как и вероятность выбора последовательности данных \{X_1,...,X_n\} из имеющейся выборки (то есть, такая же, как вероятность выбора подвыборки меньшего объема). — ADY 12:52, 10 июля 2008 (MSD)
Да. Надо только уточнить, X_i принимают дискретное множество значений или это непрерывная величина. От этого многое зависит. — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
В моем случае — дискретные величины. | ADY 16:43, 11 июля 2008 (MSD)
  • Понятно, что эта гипотеза становится менее привлекательной с увеличением r, но для r<0.5 — гипотеза выглядит вполне разумной. — ADY 12:52, 10 июля 2008 (MSD)
Оценка выводится для любых N и n.
Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом n должна уменьшаться. — ADY 16:43, 11 июля 2008 (MSD)
Так и есть, и соотвествующая теорема в слабой аксиоматике говорит точно, на сколько уменьшается надёжность. — К.В.Воронцов 00:31, 12 июля 2008 (MSD)
  • Принятие этой гипотезы, на первый взгляд, дает хорошую базу для анализа задач, в которых постоянно происходит накопление новых данных. — ADY 12:52, 10 июля 2008 (MSD)
Займёшься? ;) — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку со штрафной функцией, то тем более да :). — ADY 16:43, 11 июля 2008 (MSD)
Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Пора встречаться ;). — К.В.Воронцов 00:31, 12 июля 2008 (MSD)
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%A1%D0%BB%D0%B0%D0%B1%D0%B0%D1%8F_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D0%B0%D1%8F_%D0%B0%D0%BA%D1%81%D0%B8%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0»