Соответствие элементов формулы байеса и их обозначений. Формула полной вероятности и формулы байеса

Теорема Байеса: Святой Грааль Data Science

Соответствие элементов формулы байеса и их обозначений. Формула полной вероятности и формулы байеса

Теорема Байеса — одно из важнейших правил теории вероятностей, применяемых в Data Science. Рассмотрим интуитивный вывод теоремы на практике.

1. Введение

Теорема Байеса, названная в честь британского математика XVIII века Томаса Байеса, представляет собой математическую формулу для определения условных вероятностей. Эта теорема имеет огромное значение в области науки о данных. Например, одним из многих приложений теоремы Байеса является Байесовский вывод – особый подход к статистическому выводу.

Байесовский вывод – это метод, в котором теорема Байеса используется для обновления вероятности гипотезы по мере получения дополнительных подтверждений или иной информации. Байесовский вывод нашел применение в широком спектре видов деятельности, включая науку, инженерию, философию, медицину, спорт и право.

Так, в финансах теорема Байеса используется для оценки риска кредитования потенциальных заемщиков. В медицине теорема Байеса применяется для определения точности результатов медицинских тестов и вероятности, что у данного человека имеется потенциальное заболевание.

2. Постановка задачи

Для наглядности рассмотрим пример. Пусть у нас есть две чаши – X и Y, заполненные смесями шаров: оранжевых (будем обозначать их O – orange) и синих (будем обозначать их B – blue). При этом вы наперед точно знаете, сколько шаров имеется в каждой из чаш.

В этом случае нет никакой сложности узнать какова вероятность достать, например, оранжевый шар из чаши X. Если дело обстоит так, как это представлено на рисунке ниже, то в чаше 11 шаров, 3 из них —оранжевые. Поэтому вероятность достать оранжевый шар равна p(O)=3/11.

Но что если перед нами стоит обратная задача? Можно ли определить вероятность того, из какой чаши (X или Y) мы достали шар определенного цвета?

На этот вопрос дает ответ теорема Байеса.

3. Теорема Байеса: вывод выражения

Чтобы вывести теорему Байеса, представим эксперимент. Пусть мы бросаем игральную кость.

Каждый раз, когда игральная кость показывает число 4 или меньше, мы берем элемент из чаши X, а для числа 5 и выше – элемент из чаши Y.

Порог может быть выбран любым другим образом, важно лишь то, что мы случайным образом выбираем, из какой чаши взять объект. После того как мы взяли шар, мы возвращаем его обратно в чашу. И повторяем эту процедуру N=300 раз.

После того как мы бросим кость N раз, мы получим некоторые статистические результаты относительно количества предметов, взятых нами из двух чаш. Гипотетический результат эксперимента показан на диаграмме.

Буквой s принято обозначать источник (source). В нашем примере это чаши. Буквой y обозначаются наблюдаемые переменные (оранжевые и синие шары).

Рисунок говорит нам, что мы взяли…

  • … 148 раз синий шар из чаши X: n(s=X, y=B)=148
  • … 26 раз синий шар из чаши Y: n(s=Y, y=B)=26
  • … 51 раз оранжевый шар из чаши X: n(s=X, y=O)=51
  • … 75 раз оранжевый шар из чаши Y: n(s=Y, y=O)=75

Учитывая эти статистические данные, мы можем задаться несколькими вопросами.

Какова вероятность взять случайный предмет из чаши X?

Чтобы получить эту вероятность, которую мы обозначим как p(s=X), мы должны разделить общее количество синих и оранжевых шаров, взятых из чаши X, на число повторений N=300. Таким образом, вероятность взять случайный предмет из X выглядит следующим образом:

Очевидно, что так как суммарная вероятность взять предмет из какой-либо чаши равна 1, то вероятность взять шар из чаши Y равна:

В байесовском статистическом выводе такая вероятность называется априорной – мы говорим об источнике (чашах X и Y), но нам неважно, какой именно элемент мы из него взяли.

Какова вероятность достать синий/оранжевый шар?

Аналогично предыдущему выводу легко оценить какова вероятность достать, например, оранжевый шар, не учитывая, из какой чаши мы его достали. Делим число случаев, когда мы достали оранжевый шар на общее число экспериментов:

Для синих шаров соответственно:

Какова вероятность достать синий шар из чаши X?

Теперь вычислим вероятность наступления совместного события. Фактически мы берем один из квадрантов приведенной выше диаграммы и делим на общее число экспериментов:

Аналогично можно найти вероятности для других совместных событий достать конкретный шар из конкретной чаши:

Если мы достали шар из X, какова вероятность, что он будет синим?

Мы уже рассматривали этот пример в самом начале. Такая вероятность называется условной. Условная вероятность – вероятность наступления одного события (достать синий шар) при условии, что другое событие уже произошло (событие выбора чаши X). Такая вероятность обозначается p(y|s).

В отличие от предыдущих вопросов, в этом мы рассматриваем не все N экспериментов, а только те, в которых мы достаем шар из чаши X, следовательно знаменатель будет другим:

Правило умножения вероятностей

Возьмем полученную ранее формулу для вероятности достать синий шар из чаши X. Домножим числитель и знаменатель на одну и ту же сумму (n(s=X, y=B)+n(s=X, y=O)). Значение вероятности от этого, очевидно, не изменится.

Однако если вы присмотритесь к получаемому выражению, можно заметить, что в дроби крест-накрест образуются найденные нами выше выражения для вероятностей p(y=B|s=X) и p(s=X).

Получившееся отношение называется правилом умножения вероятностей. Правило позволяет найти вероятность совместного наступления событий p(s=X, y=B) из условной p(y=B|s=X) и априорной p(s=X) вероятностей.

Правило сложения вероятностей

Теперь рассмотрим выведенное выше выражение для априорной вероятности p(s=X). Сумму в числителе можно по отдельности разделить на знаменатель:

В результате получается сумма вероятностей совместного наступления двух разных видов событий и одного и того же источника.

Правило Байеса

Заметим, что для правила умножения не имеет значения порядок наступления совместных событий:

То есть вероятности p(s, y) и p(y, s) имеют одинаковое значение. Из подстановки легко получается новое выражение для p(s|y), которое и называют правилом Байеса:

4. Итог: из какой же чаши мы достали синий шар?

Теорема Байеса дает нам формулу нахождения условной вероятности p(s|y) – вероятности, что если произошло событие y (мы достали синий шар y=B), то источником этого y был s. А это и есть то, что мы искали, когда задавали вопрос в начале статьи.

Найдем вероятность достать синий шар из чаши X. Она обозначается соответственно p(s=X|y=B). Вероятность, что синий шар достали из чаши Y будет 1-p(s=X|y=B), либо, если считать заново, p(s=Y|y=B).

Ответ на поставленный вопрос – если мы достали синий шар, то вероятность 86%, что это шар из чаши X, и 14%, что из чаши Y.

Без найденного правила расчет p(s|y) был бы существенно сложнее. Таким образом, теорема Байеса позволяет находить искомую вероятность из легко вычислимых вероятностей.

Источник: https://proglib.io/p/bayes-theorem/

Использование формулы Байеса для статистических выводов

Соответствие элементов формулы байеса и их обозначений. Формула полной вероятности и формулы байеса

Обновлено 24.03.2009 Пятницкий А.М.

Пятницкий А.М.

Российский Государственный Медицинский Университет

Рассмотрим два примера.

Пример N1. Известно, что в случае заболевания туберкулезом рентгеновское исследование позволяет поставить диагноз в 95% случаев (чувствительность метода = 95%).

Если исследуемый здоров, то ложный диагноз туберкулеза ставится в 1% случаев (специфичность метода = 100 — 1 = 99%). Доля больных в популяции составляет 0.5%.

Какова вероятность того, что обследованный пациент, которому поставили диагноз туберкулеза, действительно болен?

Пример N2. В урне находятся 5 шаров, о которых известно, что их цвет может быть белым или черным. Из урны с возвращением извлечены 4 шара. Все они оказались черными. Что можно сказать о количестве белых шаров?

Между двумя этими примерами имеется большая разница: первый – это корректная и простая задача по теории вероятности. Второй – сформулирован как извечный вопрос практика к теории: как на основе результатов опыта сделать вывод о неизвестном параметре модели (число белых шаров). Тут требуется уточнить как смысл вопроса, так и форму ответа.

1. Формула Байеса проста и легко выводится.

Пусть имеется полная группа попарно несовместных событий с известными вероятностями. Достоверное событие является их объединением: , . Рассматривается событие , для которого известно n условных вероятностей . Требуется найти вероятность =? Заметим, что условие и событие здесь поменялись местами. В старых учебниках такие вероятности назывались “обратными”.

По определению условной вероятности получаем:

где для вероятности события использована формула полной вероятности:

Если сложить все, то получится единица, поэтому множитель , не зависящий от , можно считать константой, которую можно найти в самом конце из условия нормировки.

2. Часто используемая интерпретация.

Имеется n взаимоисключающих гипотез о том, как устроен некий объект, причем известны вероятности, с которыми эти варианты встречаются. Происходит событие , о котором известно, с какой вероятностью оно наступает в каждом из вариантов. Требуется оценить вероятность того, что объект устроен определенным образом.

Терминология:

— априорные вероятности

— правдоподобие.

— апостериорные вероятности

Если обозначить постоянный множитель

то формулу Байеса полезно запомнить в таком виде:

Апостериорная Вероятность ~ Правдоподобие*Априорная Вероятность

Важным частным случаем является постоянная априорная вероятность, которую можно включить в константу и получить:

Апостериорная Вероятность ~ Правдоподобие.

Как математическое тождество формула Байеса не вызывает сомнений. Задачи, в которых известны все необходимые вероятности, легко решаются.

Пример N1. Известны априорные вероятности того, что случайно выбранный пациент здоров , =0.995 или страдает туберкулезом ,=0.005, произошло событие — при рентгеновском обследовании поставлен диагноз туберкулеза, известны условные вероятности=0.95 (чувствительность),=0.01 (специфичность). Отсюда апостериорная вероятность того, что пациент болен:

Итак, мы видим, что после исследования вероятность, того, что пациент болен, возросла с 0.005 до 0.32. Однако апостериорная вероятность того, что пациент здоров, оказывается все равно больше:

В чем причина того, что ошибочный диагноз ставится в двух случаях из трех? Повышение чувствительности метода до 100% не поможет решить проблему: доля больных слишком мала, а даже достаточно высокая (99%) специфичность метода не спасает дело. Это становится ясным после вычисления так называемого байесовского фактора — отношения апостериорных вероятностей. Ответ равен произведению двух множителей – отношения правдоподобий и отношения априорных вероятностей:

Все осложняется, как только от формальных задач теории вероятности, мы переходим к задачам статистики, пытаясь применить формулу Байеса в задачах о выборе той или иной модели объекта (идентификации его параметров). Вызывают сомнения два момента:

1.Можно ли считать неизвестные параметры модели случайными величинами?

2.Если да, то, как узнать априорные вероятности?

Пример N2.

Решим его двумя способами – стандартным, построив для параметра N доверительный интервал (confidence interval), и байесовским, построив для N интервал доверия (credible interval).

Число гипотез равно 6 и соответствует возможному количеству белых шаров N:

Событие , где — число извлеченных черных шаров.

Важно отметить, что вычисление “правдоподобий” – не зависит от того, считаем ли мы неизвестный параметр N величиной случайной (придерживаясь байесовского подхода) или неизвестной постоянной:

Решение стандартным способом.

Если бы число белых шаров превышало 2, то вероятность наблюдать событие — появление при выборе с возвращением 4 черных шаров, была бы меньше, чем

Вывод – неизвестный параметр (число белых шаров N) принадлежит интервалу [0..2] с вероятностью 0.95: P(0≤N≤2) ≥0.95=1-α.

Границы этого ”доверительного интервала” (confidence interval) определяются результатами опыта (событием ).

Правило выбирается так, чтобы в большой серии экспериментов интервал накрывал число N в (1-α)100% случаев. Здесь случайны границы интервала, но сам параметр – неслучаен.

Пояснение. Как построить доверительный интервал в общем случае? На плоскости (N,X), где N – неизвестный параметр модели (число белых шаров в ящике), а X-величина измеренная в случайном опыте (число появившихся черных шаров), надо построить область, в которой точка (N,X) находится с большой вероятностью (например P>

0.95).

Это удобно сделать фиксируя разные значения N=n и определяя границы для X так, чтобы выполнялось условие: . Полученные “вертикальные” (параллельные оси ординат) интервалы называются интервалами рассеивания (scattering intervals). Их границы неслучайны и зависят от n и α. Теперь при любом фиксированном X найдем “горизонтальный” интервал, который пересекает построенную область.

Его границы будут случайны, если случайна ордината X. Это и есть доверительный интервал. Считается правильным говорить не “величина параметра N попадает в интервал”, а “интервал накрывает точку, соответствующую значению параметра N”. Американские статистики говорят о подкове (образ интервала), которая набрасывается на неподвижный гвоздь (параметр).

Для того, чтобы осознать идею доверительного интервала понадобилось более 100 лет.

Решение байесовским способом.

Считаем, что число белых шаров N величина случайная и до опыта имеет равномерное распределение. На самом деле здесь имеется полный произвол — вид распределения может быть и любым другим.

Итак, в результате опыта равномерное априорное распределение перешло в быстро убывающую последовательность. . Определим интервал (credible interval), в который с вероятностью >0.95 попадает случайная (в рамках байесовского подхода) величина N. Он окажется таким же: 0≤N≤2.

Однако другой выбор априорных вероятностей может существенно изменить ответ. Так, чрезвычайно определенное априорное знание может устоять перед любыми неблагоприятными фактами.

Если, например, мы до опыта были практически уверены в том, что в урне четыре белых шара, то апостериорные вероятности хотя и сместятся в сторону уменьшения числа N но все равно

Произвол в выборе априорного распределения делает успех или неудачу применения байесовского подхода случайным. Неудивительно, что сам Байес не решался публиковать свою работу.

История вопроса

Знание истории существенно для понимания роли формулы Байеса. Томас Бейес (Байес) изучал фундаментальную задачу статистики – оценку вероятности события p по частоте его появления ν.

Если из огромного ящика, в котором находятся шары (“генеральной совокупности”), мы случайно извлекли n шаров (“выборка”), и среди них K шаров оказались белыми, то что можно сказать о неизвестной нам доле белых шаров p во всей генеральной совокупности? Пусть n=100, а K=24.

Было бы неразумно просто приравнять случайную величину ν=K/n неизвестной нам величине p и считать, что p=0.24(?). Ведь при извлечении следующих 100 шаров величина ν станет другой.

Байес предложил считать величину p случайной, а все априорные гипотезы о значении p равновероятными (p равномерно распределено от 0 до 1). Отсюда для апостериорной вероятности того, что величина p заключена от p1 до p2 , он получил формулу:

P(p1

< p2) =/

Иными словами плотность вероятности величины p:

где константа С определяется из условия нормировки. Если объем выборки n увеличивается (ν≠0, ν≠1, n → ∞), то распределение p приближается к нормальному закону со средним значением m=ν и среднеквадратичным отклонением σ= (ν(1-ν)) 1/2/n1/2. Это означает, что величина p с вероятностью 0.

95 заключена в интервале (m-2σ, m+2σ), то есть: ν – 2(ν(1-ν)) 1/2/n1/2 < p < ν +2(ν(1-ν)) 1/2/n1/2. Такой интервал принято называть credible interval. Его ширина пропорциональна 1/n1/2 , если ν≠0, ν≠1. Для ν=0 или ν=1 длина интервала убывает с ростом n быстрее: ~ 1/n.

Практически это тот же ответ, который дает современная частотная теория, однако здесь величина p считается уже неслучайной, и интервал (ν – 2(ν(1-ν)) 1/2/n1/2, ν +2(ν(1-ν)) 1/2/n1/2) называется доверительным (confidence interval).

Итак, первое практическое применение формулы Байеса к статистической задаче оказалось успешным! Лаплас популяризовал формулу Байеса и придал ей современный вид.

Однако в общем случае замена неизвестного априорного распределения на равномерное не оправдана — неопределенность не означает равновероятности! Поэтому практическое использование байесовского подхода было дискредитировано, и работы Стьюдента, Фишера и Неймана в первой трети XX века положили начало современной частотной школе.

Oсновные сферы применения формулы Байеса

1)Математический инструмент в теории вероятностей.

2)В статистике – как обобщение предшествующего опыта. Предполагается, что нами накоплен опыт, позволяющий экспериментально(!) оценить априорное распределение вероятностей. Далее мы верим в то, что рассматриваемый нами новый объект относится к той же группе. Это позволяет строить классификаторы, основанные на байесовской формуле.

3)В статистике — для сравнения разных моделей в случае, когда априорные распределения настолько нечетки, что вообще несущественны. Очень часто используется BIC (байесовский информационный критерий).

4)Описание умонастроения. Сторонники интерпретации вероятности события как меры субъективной уверенности в его возможности могут пересчитывать эти величины в процессе появления новых данных. Очевидно, что математика здесь может быть подобной мельнице перемалывающей труху: произвол в определении априорных вероятностей может быть опасным.

Источник: http://bioinformatics.ru/Data-Analysis/bayes.html

Вероятность гипотез, формула Бейеса

Соответствие элементов формулы байеса и их обозначений. Формула полной вероятности и формулы байеса

Пусть имеется полная группа несовместных событий — гипотез $Н_1, Н_2,\dots , Н_n$. Вероятности этих гипотез до опыта известны и равны соответственно: $P\left(H_{1} \right),P\left(H_{2} \right),…,P\left(H_{n} \right)$.

Произведен опыт, в результате которого событие А появилось. Какие вероятности получат гипотезы в связи с появлением события А. По-другому будем искать условные вероятности $P\left({\raise0.7ex\hbox{$ H_{i} $} \left/{\vphantom{H_{i} A}}\right.\lower 0.7ex\hbox{$ A $}} \right)$ для каждой гипотезы.

Теорема Байеса

Теорема

Вероятность гипотезы при условии, что событие А произошло, равна произведению вероятности этой гипотезы на соответствующую ей условную вероятность события А, которое произошло при испытании, деленному на полную вероятность события А.

\[P(H_{i} /A)=\frac{P(H_{i} )\cdot P(A/H_{i} )}{\sum \limits _{i=1}{n}P(H_{i} )\cdot P(A/H_{i} )} \]

Доказательство

Согласно теореме умножения для двух событий

$$P(AH_i)=P(A) \cdot P (H_i/A)=P(H_i) \cdot P(A/H_i)$$

Откуда

\[P(H_{i} /A)=\frac{P(H_{i} )\cdot P(A/H_{i} )}{P(A)} \]

Выразив $Р(А)$ получим формулу:

\[P(H_{i} /A)=\frac{P(H_{i} )\cdot P(A/H_{i} )}{\sum \limits _{i=1}{n}P(H_{i} )\cdot P(A/H_{i} )} \]

которая носит название формулы Байеса. Теорема доказана.

  • Курсовая работа 400 руб.
  • Реферат 240 руб.
  • Контрольная работа 220 руб.

Использование формулы Байеса при решении задач

Пример 1

Каждый из двух стрелков независимо друг от друга произвел выстрел по некоторому объекту. Вероятность попадания в цель первым стрелком равна 0,7; вторым — 0,6. Объект поражен одним попаданием. Определить вероятность того, что объект поражен первым стрелком.

Решение.

Обозначим событие А — поражение объекта одним попаданием. Для опыта виделим следующие гипотезы:

$Н_1$ — стрелки не попадают;

$Н_2$ — стрелки одновременно попадают;

$Н_3$ — первый стрелок попадет, второй — нет;

$Н_4$ — второй стрелок попадет, первый — нет.

Найдем вероятность этих гипотез:

$P(H_1)=0,3•0,4=0,12,$

$$P(H_2)=0,7•0,6=0,42,$$ $$P(H_3)=0,7•0,4=0,28,$$ $$P(H_4)=0,3•0,6=0,18.$$

Найдем условные вероятности события А при этих гипотезах:

$$P(A/H_1)=0$$$$P(A/H_2)=0$$$$P(A/H_3)=1$$$$P(A/H_4)=1$$

После опыта гипотезы $Н_1$ и $Н_2$ становятся невозможными, а вероятности гипотез $Н_3$ и $Н_4$ будут соответственно равны.

\[P\left(H_{3} /A \right)=\frac{P\left(H_{3} \right)\cdot P\left(A/H_{3} \right)}{P\left(H_{3} \right)\cdot P\left(A/H_{3} \right)+P\left(H_{4} \right)\cdot P\left(A/H_{4} \right)} =\frac{0,28\cdot 1}{0,28+0,18} \approx 0,61;\]

Следовательно, вероятность того, что объект поражен первым стрелком, равна 0,61.

Пример 2

Экономист полагает, что в течение периода активного экономического роста американский доллар будет расти в цене с вероятностью 0,7, в период умеренного экономического роста доллар подорожает с вероятностью 0,4, и при низких темпах экономического роста доллар подорожает с вероятностью 0,2.

В течение любого периода времени вероятность активного экономического роста равна 0,3, в периоды умеренного экономического роста — 0,5 и низкого роста — 0,2.

Предположим, доллар дорожает в течение текущего периода, чему равна вероятность того, что анализируемый период совпал с периодом активного экономического роста?

Решение. Обозначим гипотезы: $Н_1$ — «активный экономический рост»; $H_2$ — «умеренный экономический рост»; $H_3$ — «низкий экономический рост».

Обозначим событие А — «доллар дорожает». Получим:

$Р(Н_1) = 0,3$;

$Р(Н_2) = 0,5$;

$Р(Н_3) = 0,2$;

$Р(А/Н_1) = 0,7$;

$Р(А/Н_2) = 0,4$;

$Р(A/Н_3) = 0,2$.

Необходимо найти: $Р(Н_1/А)$.

Пользуясь формулой Бейеса и подставив заданные значения вероятностей, получаем:

\[P(H_{1} /A)=\frac{P(H_{1} )\cdot P(A/H_{1} )}{P(H_{1} )\cdot P(A/H_{1} )+P(H_{2} )\cdot P(A/H_{2} )+P(H_{3} )\cdot P(A/H_{3} )} =\] \[=\frac{0,3\cdot 0,7}{0,3\cdot 0,7+0,5\cdot 0,4+0,2\cdot 0,2} =0,467.\]

Пример 3

При разрыве бронебойного снаряда крупные осколки составляют 20% от общего числа осколков, средние — 30%, мелкие 50%. Вероятность того, что крупный осколок пробьет броню танка, равна 0,8. Для мелких и средних осколков эти вероятности соответственно равны 0,5 и 0,2.

  1. Найти вероятность того, что осколок пробьет броню.
  2. Броня танка оказалась пробитой. Найти вероятность того, что пробоина произошла от мелкого осколка.

Решение.

Обозначим события: $А$ — броня танка пробита; $H_1$ — осколок крупный; $H_2$ — осколок средний; $H_3$ — осколок мелкий.

События $H_1$, $H_2$, $H_3$ — это полная система гипотез. Найдем вероятности этих гипотез. По условию 20% осколков крупные, 30% — средние и 50% — мелкие. Найдем вероятности событий $H_1$, $H_2$, $H_3$:

$$P(H_1)=0,2;$$ $$P(H_2)=0,3;$$ $$P(H_3)=0,5.$$

Выполним проверку:

$$P(H_1)+P(H_2)+P(H_3)=0,2+0,3+0,5=1.$$

Найдем условные вероятности события А при наших гипотезах. Получим:

$$P(А /H_1)=0,8; P(А /H_2)=0,5; P(А /H_3)=0,2.$$

Вероятность события А посчитаем за формулой полной вероятности и получим:

\[P(A)=\sum \limits _{k=1}{3}P(H_{k} )\cdot P(A/H_{k} )=0,2\cdot 0,8+0,3\cdot 0,5+0,5\cdot 0,2=0,41.\]

Для решения второй части задачи воспользуемся формулой Байеса. Найдем вероятность того, что пробоина в броне произошла от мелкого осколка (событие $H_3$), т.е. вероятность $P(H_3/А)$. По формуле Байеса найдем значение:

\[P(H_{3} /A)=\frac{P(H_{3} )\cdot P(A/H_{3} )}{\sum \limits _{k=1}{3}P(H_{k} )\cdot P(A/H_{k} )} =\frac{0,5\cdot 0,2}{0,41} =\frac{0,1}{0,41} \approx 0,24. \]

Пример 4

Специализированая больница принимает в среднем 40% больных, которые имеют заболевание $H_1$, 35% — что имеют заболевание $H_2$ и 25% — $H_3$. Статистически известно, что лечение болезни $H_1$ равняется 0,9, для болезни $H_2$ и $H_3$ эти вероятности равняются 0,8 и 0,7. Какая вероятность того, что выписаный из больницы болел болезнью $H_2$?

Решение. Будем считать, что выписаный из больницы полностью здоров. По формуле полной вероятности найдем $P(A)$. По условию задачи:

$$Р(Н_1) = 0,4; $$ $$Р(Н_2) = 0,35;$$ $$Р(Н_3) = 0,25;$$$$Р(А/Н_1) = 0,9;$$ $$Р(А/Н_2) = 0,8$$ $$Р(A/Н_3) = 0,7. $$

Тогда по формуле полной вероятности:

\[P(A)=\sum \limits _{k=1}{3}P(H_{k} )\cdot P(A/H_{k} )=0,4\cdot 0,9+0,35\cdot 0,8+0,25\cdot 0,7=0,815.\]

По формуле Байеса найдем:

\[P(H_{2} /A)=\frac{P(H_{2} )\cdot P(A/H_{2} )}{P(H_{1} )\cdot P(A/H_{1} )+P(H_{2} )\cdot P(A/H_{2} )+P(H_{3} )\cdot P(A/H_{3} )} =\] \[=\frac{0,35\cdot 0,8}{0,815} =0,344.\] \right),P\left(H_{2}…»,»word_count»:786,»direction»:»ltr»,»total_pages»:1,»rendered_pages»:1}

Источник: https://spravochnick.ru/matematika/sledstviya_teorem_slozheniya_i_umnozheniya/veroyatnost_gipotez_formula_beyesa/

Как применять теорему Байеса для решения реальных задач

Соответствие элементов формулы байеса и их обозначений. Формула полной вероятности и формулы байеса

Возможно, вы никогда не слышали про теорему Байеса, но пользовались ей постоянно. Например, изначально вы оценили вероятность получения прибавки к зарплате как 50%.

Получив положительные отзывы от менеджера, вы скорректировали оценку в лучшую сторону, и, наоборот, уменьшили ее, если сломали кофеварку на работе.

Так происходит уточнение значения вероятности по мере аккумулирования информации.

Основная идея теоремы Байеса состоит в том, чтобы получить большую точность оценки вероятности события путем учета дополнительных данных.

Принцип прост: есть первоначальная основная оценка вероятности, которую уточняют c получением большего количества информации.

Формула Байеса

Интуитивные действия формализуются в простом, но мощном уравнении (формула вероятности Байеса):

Левая часть уравнения — апостериорная оценка вероятности события А при условии наступления события В (т. н. условная вероятность).

  • P(A)  — вероятность события А (основная, априорная оценка);
  • P(B|A) — вероятность (также условная), которую мы получаем из наших данных;
  • а P(B) — константа нормировки, которая ограничивает вероятность значением 1.

Это короткое уравнение является основой байесовского метода.

Абстрактность событий А и В не позволяет четко осознать смысл этой формулы. Для понимания сути теоремы Байеса рассмотрим реальную задачу.

Пример

Одной из тем, над которой я работаю, является изучение моделей сна. У меня есть данные за два месяца, записанные с помощью моих часов Garmin Vivosmart, показывающие, во сколько я засыпаю и просыпаюсь. Окончательная модель, показывающая наиболее вероятное распределение вероятности сна как функцию времени (MCMC — приблизительный метод), приведена ниже.

На графике приведена вероятность того, что я сплю, в зависимости лишь от времени. Как она изменится, если учесть время, в течение которого включен свет в спальне? Для уточнения оценки и нужна теорема Байеса. Уточненная оценка основана на априорной и имеет вид:

Выражение слева — вероятность того, что я сплю, при условии, что известно, включен ли свет в моей спальне. Априорная оценка в данный момент времени (приведена на графике выше) обозначена как P(sleep). Например, в 10:00 вечера априорная вероятность того, что я сплю, равна 27,34%.

Добавим больше информации, используя вероятность P(bedroom light|sleep), полученную из наблюдаемых данных.

Из собственных наблюдений мне известно следующее: вероятность того, что я сплю, когда свет включен, равна 1%.

Вероятность того, что свет выключен во время сна, равна 1-0,01 = 0,99 (знак «-» в формуле означает противоположное событие), потому что сумма вероятностей противоположных событий равна 1. Когда я сплю, то свет в спальне либо включен, либо выключен.

Наконец, уравнение также включает в себя константу нормировки P(light) — вероятность того, что свет включен. Свет бывает включен и когда я сплю, и когда бодрствую. Поэтому, зная априорную вероятность сна, вычислим константу нормировки так:

Вероятность того, что свет включен, учтена в обоих вариантах: либо я сплю, либо нет (P (-sleep) = 1 — P (sleep) — это вероятность того, что я не сплю.)

Вероятность того, что свет включен в тот момент, когда я не сплю, равна P(light|-sleep), и определяется путем наблюдения. Мне известно, что свет горит, когда я бодрствую, с вероятностью 80% (это означает, что есть 20% вероятность того, что свет не включен, если я бодрствую).

Окончательное уравнение Байеса принимает вид:

Оно позволяет вычислить вероятность того, что я сплю, при условии, что свет включен. Если нас интересует вероятность того, что свет выключен, нужно каждую конструкцию P(light|… заменить на P(-light|….

Давайте посмотрим, как используют полученные символьные уравнения на практике.

Применим формулу к моменту времени 22:30 и учтем, что свет включен. Мы знаем, вероятность того, что я спал, равна 73,90%. Это число — отправная точка для нашей оценки.

Уточним его, учтя информацию об освещении. Зная, что свет включен, подставим числа в формулу Байеса:

Дополнительные данные резко изменили оценку вероятности: от более 70% до 3,42%. Это показывает силу теоремы Байеса: мы смогли уточнить нашу первоначальную оценку ситуации, включив в нее больше информации. Возможно, мы уже интуитивно делали это раньше, но теперь, рассуждая об этом в терминах формальных уравнений, мы смогли подтвердить наши прогнозы.

Python

Рассмотрим еще один пример. Что если на часах 21:45 и свет выключен? Попытайте рассчитать вероятность самостоятельно, считая априорную оценку равной 0.1206.

Вместо того, чтобы каждый раз считать вручную, я написал простой код на Python для выполнения этих вычислений, который вы можете попробовать в Jupyter Notebook. Вы получите следующий ответ:

Time: 09:45:00 PM            Light is OFF.

The prior probability of sleep: 12.06%
The updated probability of sleep: 40.44%

И снова дополнительная информация меняет нашу оценку. Теперь, если моя сестра захочет позвонить мне в 21:45 зная, что мой свет включен, она может воспользоваться этим уравнением, чтобы определить, смогу ли я взять трубку (предполагая, что я беру трубку только бодрствующим)! Кто говорит, что статистика неприменима повседневной жизни?

Визуализация вероятности

Наблюдение за вычислениями полезно, но визуализация помогает добиться более глубокого понимания результата. Я всегда стараюсь использовать графики, чтобы генерировать идеи, если они сами не приходят при простом изучении уравнений. Мы можем визуализировать априорное и апостериорное распределения вероятности сна с использованием дополнительных данных:

Когда свет включен, график смещается вправо, указывая на то, что я с меньшей вероятностью сплю в данный момент времени. Аналогично, график смещается влево, если мой свет выключен. Понять смысл теоремы Байеса непросто, но эта иллюстрация наглядно демонстрирует, зачем ее нужно использовать. Формула Байеса — инструмент для уточнения прогнозов с помощью дополнительных данных.

Что, если есть еще больше данных?

Зачем останавливаться на освещении в спальне? Мы можем использовать еще больше данных в нашей модели для дальнейшего уточнения оценки (пока данные остаются полезными для рассматриваемого случая). Например, я знаю, что если мой телефон заряжается, то я сплю с вероятностью 95%. Этот факт можно учесть в нашей модели.

Предположим, что вероятность того, что мой телефон заряжается, не зависит от освещения в спальне (независимость событий — это достаточно сильное упрощение, но оно позволит сильно облегчить задачу). Составим новое, еще более точное выражение для вероятности:

Получившаяся формула выглядит громоздко, но, используя код на Python, мы можем написать функцию, которая будет производить расчет. Для любого момента времени и любой комбинации наличия освещения/зарядки телефона эта функция возвращает уточненную вероятность того, что я сплю.

Пропустим математику (все равно считать будет компьютер) и перейдем к результатам:

Time is 11:00:00           PM Light is ON           Phone IS NOT charging.

The prior probability of sleep: 95.52%
The updated probability of sleep: 1.74%

В 23:00 без дополнительной информации мы могли почти с полной вероятностью сказать, что я сплю. Однако, как только у нас будет дополнительная информация о том, что свет включен, а телефон не заряжается, мы заключаем, что вероятность того, что я сплю, практически равна нулю. Вот еще один пример:

Time is 10:15:00 PM           Light is OFF           Phone IS charging.

The prior probability of sleep: 50.79%
The updated probability of sleep: 95.10%

Вероятность смещается вниз или вверх в зависимости от конкретной ситуации. Чтобы продемонстрировать это, рассмотрим четыре конфигурации дополнительных данных и то, как они изменяют распределение вероятности:

На этом графике представлено много информации, но главный смысл состоит в том, что кривая вероятности изменяется в зависимости от дополнительных факторов. По мере добавления других данных мы будем  получать более точную оценку.

Заключение

Теорема Байеса и другие статистические понятия могут быть трудными для понимания, когда они представлены абстрактными уравнениями, использующими только буквы или выдуманные ситуации. Настоящее обучение приходит, когда мы применяем абстрактные понятия в реальных задачах.

Успех в области data science — это непрерывное обучение, добавление новых методов в набор навыков и поиск оптимального метода для решения задач.

Теорема Байеса позволяет уточнять наши оценки вероятности с помощью дополнительной информации для более качественного моделирования реальности.

Увеличение количества информации позволяет получать более точные прогнозы, и метод Байеса оказывается полезным инструментом для решения этой задачи.

Я приветствую обратную связь, дискуссию и конструктивную критику. Связаться со мной можно в : @koehrsen_will.

Оригинал

Может быть интересно:

Источник: https://neurohive.io/ru/osnovy-data-science/kak-primenjat-teoremu-bajesa-dlja-reshenija-realnyh-zadach/

Вопросы адвокату
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: