Краткая теория

Если событие наступает только при условии появления одного из событий образующих полную группу несовместных событий, то равна сумме произведений вероятностей каждого из событий на соответствующую условную вероятность кошелек .

При этом события называются гипотезами, а вероятности – априорными. Эта формула называется формулой полной вероятности.

Формула Байеса применяется при решении практических задач, когда событие , появляющееся совместно с каким-либо из событий образующих полную группу событий произошло и требуется провести количественную переоценку вероятностей гипотез . Априорные (до опыта) вероятности известны. Требуется вычислить апостериорные (после опыта) вероятности, т.е. по существу нужно найти условные вероятности . Формула Байеса выглядит так:

На следующей странице рассматривается задача на .

Пример решения задачи

Условие задачи 1

На фабрике станки 1,2 и 3 производят соответственно 20%, 35% и 45% всех деталей. В их продукции брак составляет соответственно 6%, 4%, 2%. Какова вероятность того, что случайно выбранное изделие оказалось дефектным? Какова вероятность того, что оно было произведено: а) станком 1; б) станком 2; в) станком 3?

Решение задачи 1

Обозначим через событие, состоящее в том, что стандартное изделие оказалось дефектным.

Событие может произойти только при условии наступления одного из трех событий:

Изделие произведено на станке 1;

Изделие произведено на станке 2;

Изделие произведено на станке 3;

Запишем условные вероятности:

Формула полной вероятности

Если событие может произойти только при выполнении одного из событий , которые образуютполную группу несовместных событий, то вероятность события вычисляется по формуле

По формуле полной вероятности находим вероятность события :

Формула Байеса

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

Вероятность того, что дефектное изделие изготовлено на станке 1:

Вероятность того, что дефектное изделие изготовлено на станке 2:

Вероятность того, что дефектное изделие изготовлено на станке 3:

Условие задачи 2

Группа состоит из 1 отличника, 5 хорошо успевающих студентов и 14 студентов, успевающих посредственно. Отличник отвечает на 5 и 4 с равной вероятностью, хорошист отвечает на 5, 4 и 3 с равной вероятностью, и посредственно успевающий студент отвечает на 4,3 и 2 с равной вероятностью. Случайно выбранный студент ответил на 4. Какова вероятность того, что был вызван посредственно успевающий студент?

Решение задачи 2

Гипотезы и условные вероятности

Возможны следующие гипотезы:

Отвечал отличник;

Отвечал хорошист;

–отвечал посредственно занимающийся студент;

Пусть событие -студент получит 4.

Условные вероятности:

Ответ:

Средняя стоимость решения контрольной работы 700 - 1200 рублей (но не менее 300 руб. за весь заказ). На цену сильно влияет срочность решения (от суток до нескольких часов). Стоимость онлайн-помощи на экзамене/зачете - от 1000 руб. за решение билета.

Заявку можно оставить прямо в чате, предварительно скинув условие задач и сообщив необходимые вам сроки решения. Время ответа - несколько минут.

Сибирский государственный университет телекоммуникаций и информатики

Кафедра высшей математики

по дисциплине: «Теория вероятностей и математическая статистика»

«Формула полной вероятности и формула Бейеса(Байеса) и их применение»

Выполнил:

Руководитель: профессор Б.П.Зеленцов

Новосибирск, 2010

Введение 3

1. Формула полной вероятности 4-5

2. Формула Байеса(Бейеса) 5-6

3. Задачи с решениями 7-11

4. Основные сферы применения формулы Байеса(Бейеса) 11

Заключение 12

Литература 13

Введение

Теория вероятностей является одним из классических разделов математики. Она имеет длительную историю. Основы этого раздела науки были заложены великими математиками. Назову, например, Ферма, Бернулли, Паскаля.
Позднее развитие теории вероятностей определились в работах многих ученых.
Большой вклад в теорию вероятностей внесли ученые нашей страны:
П.Л.Чебышев, А.М.Ляпунов, А.А.Марков, А.Н.Колмогоров. Вероятностные и статистические методы в настоящее время глубоко проникли в приложения. Они используются в физике, технике, экономке, биологии и медицине. Особенно возросла их роль в связи с развитием вычислительной техники.

Например, для изучения физических явлений производят наблюдения или опыты. Их результаты обычно регистрируют в виде значений некоторых наблюдаемых величин. При повторении опытов мы обнаруживаем разброс их результатов. Например, повторяя измерения одной и той же величины одним и тем же прибором при сохранении определенных условий (температура, влажность и т.п.), мы получаем результаты, которые хоть немного, но все же отличаются друг от друга. Даже многократные измерения не дают возможности точно предсказать результат следующего измерения. В этом смысле говорят, что результат измерения есть величина случайная. Еще более наглядным примером случайной величины может служить номер выигрышного билета в лотерее. Можно привести много других примеров случайных величин. Все же и в мире случайностей обнаруживаются определенные закономерности. Математический аппарат для изучения таких закономерностей и дает теория вероятностей.
Таким образом, теория вероятностей занимается математическим анализом случайных событий и связанных с ними случайных величин.

1. Формула полной вероятности.

Пусть имеется группа событий H 1 , H 2 ,..., H n , обладающая следую­щими свойствами:

1) все события попарно несовместны: H i

H j =Æ; i , j =1,2,...,n ; i ¹ j ;

2) их объединение образует пространство элементарных исходов W:

.

Рис.8

В этом случае будем говорить, что H 1 , H 2 ,...,H n образуют полную группу событий . Такие события иногда называют гипотезами .

Пусть А – некоторое событие: А ÌW (диаграмма Венна представлена на рисунке 8). Тогда имеет место формула полной вероятности:

P (A ) = P (A /H 1)P (H 1) + P (A /H 2)P (H 2) + ...+P (A /H n )P (H n ) =

Доказательство. Очевидно: A =

, причем все события (i = 1,2,...,n ) попарно несовместны. Отсюда по теореме сложения вероятностей получаем

P (A ) = P (

) + P () +...+ P (

Если учесть, что по теореме умножения P (

) = P (A/H i)P (H i) (i = 1,2,...,n ), то из последней формулы легко получить приведенную выше формулу полной вероятности.

Пример . В магазине продаются электролампы производства трех заводов, причем доля первого завода - 30%, второго - 50%, третьего - 20%. Брак в их продукции составляет соответственно 5%, 3% и 2%. Какова вероятность того, что случайно выбранная в магазине лампа оказалась бракованной.

Пусть событие H 1 состоит в том, что выбранная лампа произведена на первом заводе, H 2 на втором, H 3 - на третьем заводе. Очевидно:

P (H 1) = 3/10, P (H 2) = 5/10, P (H 3) = 2/10.

Пусть событие А состоит в том, что выбранная лампа оказалась бракованной; A/H i означает событие, состоящее в том, что выбрана бракованная лампа из ламп, произведенных на i -ом заводе. Из условия задачи следует:

P (A / H 1) = 5/10; P (A / H 2) = 3/10; P (A / H 3) = 2/10

По формуле полной вероятности получаем

2. Формула Байеса(Бейеса)

Пусть H 1 ,H 2 ,...,H n - полная группа событий и А Ì W – некоторое событие. Тогда по формуле для условной вероятности

(1)

Здесь P (H k /A ) – условная вероятность события (гипотезы) H k или вероятность того, что H k реализуется при условии, что событие А произошло.

По теореме умножения вероятностей числитель формулы (1) можно представить в виде

P = P = P (A /H k )P (H k )

Для представления знаменателя формулы (1) можно использовать формулу полной вероятности

P (A )

Теперь из (1) можно получить формулу, называемую формулой Байеса :

По формуле Байеса исчисляется вероятность реализации гипотезы H k при условии, что событие А произошло. Формулу Байеса еще называют формулой вероятности гипотез. Вероятность P (H k ) называют априорной вероятностью гипотезы H k , а вероятность P (H k /A ) – апостериорной вероятностью.

Теорема. Вероятность гипотезы после испытания равна произведению вероятности гипотезы до испытания на соответствующую ей условную вероятность события, которое произошло при испытании, деленному на полную вероятность этого события.

Пример. Рассмотрим приведенную выше задачу об электролампах, только изменим вопрос задачи. Пусть покупатель купил электролампу в этом магазине, и она оказалась бракованной. Найти вероятность того, что эта лампа изготовлена на втором заводе. Величина P (H 2) = 0,5 в данном случае это априорная вероятность события, состоящего в том, что купленная лампа изготовлена на втором заводе. Получив информацию о том, что купленная лампа бракованная, мы можем поправить нашу оценку возможности изготовления этой лампы на втором заводе, вычислив апостериорную вероятность этого события.

Формула Байеса

Теорема Байеса - одна из основных теорем элементарной теории вероятностей , которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно более точно пересчитывать вероятность, беря в учёт как ранее известную информацию, так и данные новых наблюдений.

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами , так как они - предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще ), а условную - с учетом факта произошедшего события - апостериорной (насколько вероятна причина оказалась с учетом данных о событии ).

Следствие

Важным следствием формулы Байеса является формула полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них! ).

- вероятность наступления события B , зависящего от ряда гипотез A i , если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы

Если событие зависит только от причин A i , то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

По формуле Байеса

Переносом P (B ) вправо получаем искомое выражение.

Метод фильтрации спама

Метод, основанный на теореме Байеса, нашел успешное применение в фильтрации спама .

Описание

При обучении фильтра для каждого встреченного в письмах слова высчитывается и сохраняется его «вес» - вероятность того, что письмо с этим словом - спам (в простейшем случае - по классическому определению вероятности: «появлений в спаме / появлений всего» ).

При проверке вновь пришедшего письма вычисляется вероятность того, что оно - спам, по указанной выше формуле для множества гипотез. В данном случае «гипотезы» - это слова, и для каждого слова «достоверность гипотезы» - % этого слова в письме, а «зависимость события от гипотезы» P (B | A i ) - вычисленнный ранее «вес» слова. То есть «вес» письма в данном случае - не что иное, как усредненный «вес» всех его слов.

Отнесение письма к «спаму» или «не-спаму» производится по тому, превышает ли его «вес» некую планку, заданную пользователем (обычно берут 60-80 %). После принятия решения по письму в базе данных обновляются «веса» для вошедших в него слов.

Характеристика

Данный метод прост (алгоритмы элементарны), удобен (позволяет обходиться без «черных списков» и подобных искусственных приемов), эффективен (после обучения на достаточно большой выборке отсекает до 95-97 % спама, и в случае любых ошибок его можно дообучать). В общем, есть все показания для его повсеместного использования, что и имеет место на практике - на его основе построены практически все современные спам-фильтры.

Впрочем, у метода есть и принципиальный недостаток: он базируется на предположении , что одни слова чаще встречаются в спаме, а другие - в обычных письмах , и неэффективен, если данное предположение неверно. Впрочем, как показывает практика, такой спам даже человек не в состоянии определить «на глаз» - только прочтя письмо и поняв его смысл.

Еще один, не принципиальный, недостаток, связанный с реализацией - метод работает только с текстом. Зная об этом ограничении, спамеры стали вкладывать рекламную информацию в картинку, текст же в письме либо отсутствует, либо не несет смысла. Против этого приходится пользоваться либо средствами распознавания текста («дорогая» процедура, применяется только при крайней необходимости), либо старыми методами фильтрации - «черные списки» и регулярные выражения (так как такие письма часто имеют стереотипную форму).

См. также

Примечания

Ссылки

Литература

• Берд Киви. Теорема преподобного Байеса . // Журнал «Компьютерра», 24 августа 2001 г.
• Paul Graham. A plan for spam (англ.). // Персональный сайт Paul Graham.

Wikimedia Foundation . 2010 .

Смотреть что такое "Формула Байеса" в других словарях:

Формула, имеющая вид: где a1, А2,..., Ап несовместимые события, Общая схема применения Ф. в. г.: если событие В может происходить в разл. условиях, относительно которых сделано п гипотез А1, А2, ..., Аn с известными до опыта вероятностями P(A1),… … Геологическая энциклопедия

Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа попарно… … Википедия

Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа событий, таких… … Википедия

- (или формула Байеса) одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны … Википедия

Теорема Байеса одна из основных теорем элементарной теории вероятностей, которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно… … Википедия

Байес, Томас Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения … Википедия

Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения: Лондон … Википедия

Байесовский вывод один из методов статистического вывода, в котором для уточнения вероятностных оценок на истинность гипотез при поступлении свидетельств используется формула Байеса. Использование байесовского обновления особенно важно в… … Википедия

Для улучшения этой статьи желательно?: Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное. Проставив сноски, внести более точные указания на источники. Пере … Википедия

Будут ли заключенные друг друга предавать, следуя своим эгоистическим интересам, или будут молчать, тем самым минимизируя общий срок? Дилемма заключённого (англ. Prisoner s dilemma, реже употребляется название «дилемма … Википедия

Книги

• Теория вероятностей и математическая статистика в задачах: Более 360 задач и упражнений , Борзых Д.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…

Сформулируйте и докажите формулу полной вероятности. Приведите пример ее применения.

Если события H 1 , H 2 , …, H n попарно несовместны и при каждом испытании обязательно наступает хотя бы одно из этих событий, то для любого события А справедливо равенство:

P(A)= P H1 (A)P(H 1)+ P H2 (A)P(H 2)+…+ P Hn (A)P(H n) – формула полной вероятности. При этом H 1 , H 2 , …, H n называют гипотезами.

Доказательство: Событие А распадается на варианты: AH 1 , AH 2 , …, AH n . (А наступает вместе с H 1 и т.д.) Иначе говоря, имеем А= AH 1 + AH 2 +…+ AH n . Так как H 1 , H 2 , …, H n попарно несовместны, то несовместны и события AH 1 , AH 2 , …, AH n . Применяя правило сложения, находим: P(А)= P(AH 1)+ P(AH 2)+…+ P(AH n). Заменив каждое слагаемое P(AH i) правой части произведением P Hi (A)P(H i), получаем требуемое равенство.

Пример:

Допустим, у нас есть два набора деталей. Вероятность того, что деталь первого набора стандартна, равна 0,8, а второго – 0,9. Найдем вероятность того, что взятая наудачу деталь – стандартная.

Р(А) = 0,5*0,8 + 0,5*0,9 = 0,85.

Сформулируйте и докажите формулу Байеса. Приведите пример ее применения.

Формула Байеса:

Она позволяет переоценить вероятности гипотез после того, как становится известным результат испытания, в итоге которого появилось событие А.

Доказательство: Пусть событие А может наступить при условии появления одного из несовместных событий H 1 , H 2 , …, H n , образующих полную группу. Поскольку заранее неизвестно, какое из этих событий наступит, их называют гипотезами.

Вероятность появления события А определяется по формуле полной вероятности:

P(A)= P H1 (A)P(H 1)+ P H2 (A)P(H 2)+…+ P Hn (A)P(H n) (1)

Допустим, что произведено испытание, в результате которого появилось событие А. Определим, как изменились, в связи с тем, что событие А уже наступило, вероятности гипотез. Другими словами, будем искать условные вероятности

P A (H 1), P A (H 2), …, P A (H n).

По теореме умножения имеем:

Р(АH i) = Р(А) Р A (H i) = Р(H i)Р Hi (А)

Заменим здесь Р(А) по формуле (1), получаем

Пример:

Имеется три одинаковых по виду ящика. В первом ящике n=12 белых шаров, во втором m=4 белых и n-m=8 черных шаров, в третьем n=12 черных шаров. Из выбранного наугад ящика вынули белый шар. Найдите вероятность Р того, что шар вынут из второго ящика.

Решение.

4) Выведите формулу для вероятности k успехов в серии n испытаний по схеме Бернулли.

Исследуем случай, когда производится n одинаковых и независимых опытов, каждый из которых имеет только 2 исхода {A; }. Т.е. некоторый опыт повторяется n раз, причем в каждом опыте некоторое событие А может появиться с вероятностью P(A)=q или не появиться с вероятностью P()=q-1=p .

Пространство элементарных событий каждой серии испытаний содержит точек или последовательностей из символов А и . Такое вероятностное пространство и носит название схема Бернулли. Задача же заключается в том, чтобы для данного k найти вероятность того, что при n- кратном повторении опыта событие А наступит k раз.

Для большей наглядности условимся каждое наступление события А рассматривать как успех, ненаступление А – как неуспех. Наша цель – найти вероятность того, что из n опытов ровно k окажутся успешными; обозначим это событие временно через B.

Событие В представляется в виде суммы ряда событий – вариантов события В. Чтобы фиксировать определенный вариант, нужно указать номера тех опытов, которые оканчиваются успехом. Например, один из возможных вариантов есть

. Число всех вариантов равно, очевидно, , а вероятность каждого варианта ввиду независимости опытов равна . Отсюда вероятность события В равна . Чтобы подчеркнуть зависимость полученного выражения от n и k, обозначим его . Итак, .

5) Используя интегральную приближённую формулу Лапласа, выведите формулу для оценки отклонения относительной частоты события А от вероятности p наступления A в одном опыте.

В условиях схемы Бернулли с заданными значениями n и p для данного e>0 оценим вероятность события , где k – число успехов в n опытах. Это неравенство эквивалентно |k-np|£en, т.е. -en £ k-np £ en или np-en £ k £ np+en. Таким образом, речь идёт о получении оценки для вероятности события k 1 £ k £ k 2 , где k 1 = np-en, k 2 = np+en. Применяя интегральную приближённую формулу Лапласа, получим: P( » . С учётом нечётности функции Лапласа получаем приближённое равенство P( » 2Ф .

Примечание : т.к. по условию n=1, то подставляем вместо n единицу и получаем окончательный ответ.

6) Пусть X – дискретная случайная величина, принимающая только неотрицательные значения и имеющая математическое ожидание m . Докажите, что P (X ≥ 4) ≤ m/ 4 .

m= (т.к. 1-ое слагаемое положительно, то если его убрать, будет меньше) ³ (заменим a на 4, будет только меньше) ³ = =4×P (X ³4). Отсюда P (X ≥ 4) ≤ m/ 4 .

(Вместо 4 может быть любое число).

7) Докажите, что если X и Y – независимые дискретные случайные величины, принимающие конечное множество значений, то M(XY)=M(X)M(Y)

x 1	x 2	…
p 1	p 2	…

называется число M(XY) = x 1 p 1 + x 2 p 2 + …

Если случайные величины X и Y независимы, то математическое ожидание их произведения равно произведению их математических ожиданий (теорема умножения математических ожиданий).

Доказательство: Возможные значения X обозначим x 1 , x 2, … , возможные значения Y - y 1 , y 2, … а p ij =P(X=x i , Y=y j). XY M(XY)= Ввиду независимости величин X и Y имеем: P(X= x i , Y=y j)= P(X=x i) P(Y=y j). Обозначив P(X=x i)=r i , P(Y=y j)=s j , перепишем данное равенство в виде p ij =r i s j

Таким образом, M(XY) = = . Преобразуя полученное равенство, выводим: M(XY)=()() = M(X)M(Y), что и требовалось доказать.

8) Докажите, что если X и Y – дискретные случайные величины, принимающие конечное множество значений, то M (X +Y ) = M (X ) +M (Y ).

Математическим ожиданием дискретной случайной величины с законом распределения

x 1	x 2	…
p 1	p 2	…

называется число M(XY) = x 1 p 1 + x 2 p 2 + …

Математическое ожидание суммы двух случайных величин равно сумме математических ожиданий слагаемых: M(X+Y)= M(X)+M(Y).

Доказательство: Возможные значения X обозначим x 1 , x 2, … , возможные значения Y - y 1 , y 2, … а p ij =P(X=x i , Y=y j). Закон распределения величины X+Y будет выражаться соответствующей таблицей. M(X+Y)= .Эту формулу можно переписать следующим образом: M(X+Y)= .Первую сумму правой части можно представить в виде . Выражение есть вероятность того, что наступит какое-либо из событий (X=x i , Y=y 1), (X=x i , Y=y 2), … Следовательно, это выражение равно P(X=x i). Отсюда . Аналогично, . В итоге имеем: M(X+Y)= M(X)+M(Y), что и требовалось доказать.

9) Пусть Х – дискретная случайная величина, распределенная по биномиальному закону распределения с параметрами n и р . Докажите, что М(Х)=nр , D(Х)=nр(1-р) .

Пусть производится n независимых испытаний, в каждом из которых может появиться событие А с вероятностью р , так что вероятность противоположного события Ā равна q=1-p . Рассмотрим сл. величину Х – число появления события А в n опытах. Представим Х в виде суммы индикаторов события А для каждого испытания: Х=Х 1 +Х 2 +…+Х n . Теперь докажем, что М(Х i)=р, D(Х i)=np . Для этого рассмотрим закон распределения сл. величины, который имеет вид:

Х
Р	р	q

Очевидно, что М(Х)=р , случайная величина Х 2 имеет тот же закон распределения, поэтому D(Х)=М(Х 2)-М 2 (Х)=р-р 2 =р(1-р)=рq . Таким образом, М(Х i)=р , D(Х i)=pq . По теореме сложения математических ожиданий М(Х)=М(Х 1)+..+М(Х n)=nр. Поскольку случайные величины Х i независимы, то дисперсии тоже складываются: D(Х)=D(Х 1)+…+D(Х n)=npq=np(1-р).

10) Пусть X – дискретная случайная величина, распределенная по закону Пуассона с параметром λ. Докажите, что M (X ) = λ .

Закон Пуассона задается таблицей:

Отсюда имеем:

Таким образом, параметр λ, характеризующий данное пуассоновское распределение, есть не что иное как математическое ожидание величины X.

11) Пусть Х – дискретная случайная величина, распределенная по геометрическому закону с параметром р. Докажите, что M (X) = .

Геометрический закон распределения связан с последовательностью испытаний Бернулли до 1-го успешного события А. Вероятность появления события А в одном испытании равна р, противоположного события q = 1-p. Закон распределения случайной величины Х – числа испытаний имеет вид:

х			…	n	…
Р	р	pq	…	pq n-1	…

Ряд, записанный в скобках, получается почленным дифференцированием геометрической прогрессии

Следовательно, .

12) Докажите, что коэффициент корреляции случайных величин Х и У удовлетворяет условию .

Определение: Коэффициентом корреляции двух слу­чайных величин называется отношение их ковариации к произведе­нию средних квадратических отклонений этих величин: . .

Доказательство: Рассмотрим случайную величину Z = . Вычислим ее дисперсию . Поскольку левая часть неотрицательна, то правая неотрицательна. Следовательно, , |ρ|≤1.

13) Как вычисляется дисперсия в случае непрерывного распределения с плотностью f (x )? Докажите, что для случайной величины X с плотностью дисперсия D (X ) не существует, а математическое ожидание M (X ) существует.

Дисперсия абсолютно непрерывной случайной величины X с функцией плотности f(x) и математическим ожиданием m = M(X) определяется таким же равенством, как и для дискретной величины

В случае когда абсолютно непрерывная случайная величина X сосредоточена на промежутке ,

∞ - интеграл расходится, следовательно, дисперсия не существует.

14) Докажите, что для нормальной случайной величины Х с функцией плотности распределения математическое ожидание М(Х) = μ.

Формула

Докажем, что μ есть математическое ожидание.

Поопределению математического ожидания непрерывной с.в.,

Введем новую переменную . Отсюда . Приняв во внимание, что новые пределы интегрирования равны старым, получим

Первое из слагаемых равно нулю ввиду нечетности подинтегральной функции. Второе из слагаемых равно μ (интеграл Пуассона ).

Итак, M(X)=μ , т.е. математическое ожидание нормального распределения равно параметру μ.

15) Докажите, что для нормальной случайной величины Х с функцией плотности распределения диспресия D(X) = σ 2 .

Формула описывает плотность нормального распределения вероятностей непрерывной с.в..

Докажем, что - среднее квадратическое отклонение нормального распределения. Введем новую переменную z=(х-μ)/ . Отсюда . Приняв во внимание, что новые пределы инте­грирования равны старым, получим Интегрируя по частям, положив u=z , найдем Следовательно, .Итак, среднее квадратическое отклонение нормального распределения равно параметру .

16) Докажите, что для непрерывной случайной величины, распределенной по показательному закону с параметром , математическое ожидание .

Говорят, что случайная величина X, принимающая только неотрицательные значения, распределена по показательному закону, если для некоторого положительного параметра λ>0 функция плотности имеет вид:

Для нахождения математического ожидания воспользуемся формулой

Подробно теорема Байеса излагается в отдельной статье . Это замечательная работа, но в ней 15 000 слов. В этом же переводе статьи от Kalid Azad кратко объясняется самая суть теоремы.

• Результаты исследований и испытаний – это не события. Существует метод диагностики рака, а есть само событие - наличие заболевания. Алгоритм проверяет, содержит ли письмо спам, но событие (на почту действительно пришел спам) нужно рассматривать отдельно от результата его работы.
• В результатах испытаний бывают ошибки. Часто наши методы исследований выявляют то, чего нет (ложноположительный результат), и не выявляют то, что есть (ложноотрицательный результат).
• С помощью испытаний мы получаем вероятности определенного исхода. Мы слишком часто рассматриваем результаты испытания сами по себе и не учитываем ошибки метода.
• Ложноположительные результаты искажают картину. Предположим, что вы пытаетесь выявить какой-то очень редкий феномен (1 случай на 1000000). Даже если ваш метод точен, вероятнее всего, его положительный результат будет на самом деле ложноположительным.
• Работать удобнее с натуральными числами. Лучше сказать: 100 из 10000, а не 1%. При таком подходе будет меньше ошибок, особенно при умножении. Допустим, нам нужно дальше работать с этим 1%. Рассуждения в процентах неуклюжи: «в 80% случаев из 1% получили положительный исход». Гораздо легче информация воспринимается так: «в 80 случаях из 100 наблюдали положительный исход».
• Даже в науке любой факт - это всего лишь результат применения какого-либо метода. С философской точки зрения научный эксперимент – это всего лишь испытание с вероятной ошибкой. Есть метод, выявляющий химическое вещество или какой-нибудь феномен, и есть само событие - присутствие этого феномена. Наши методы испытаний могут дать ложный результат, а любое оборудование обладает присущей ему ошибкой.

Tеорема Байеса превращает результаты испытаний в вероятность событий.

• Если нам известна вероятность события и вероятность ложноположительных и ложноотрицательных результатов, мы можем исправить ошибки измерений.
• Теорема соотносит вероятность события с вероятностью определенного исхода. Мы можем соотнести Pr(A|X): вероятность события А, если дан исход X, и Pr(X|A): вероятность исхода X, если дано событие А.

Разберемся в методе

В статье, на которую дана ссылка в начале этого эссе, разбирается метод диагностики (маммограмма), выявляющий рак груди. Рассмотрим этот метод подробно.

• 1% всех женщин болеют раком груди (и, соответственно, 99% не болеют)
• 80% маммограмм выявляют заболевание, когда оно действительно есть (и, соответственно, 20% не выявляют)
• 9,6% исследований выявляют рак, когда его нет (и, соответственно, 90,4% верно определяют отрицательный результат)

Теперь оформим такую таблицу:

Как работать с этим данными?

• 1% женщин болеют раком груди
• если у пациентки выявили заболевание, смотрим в первую колонку: есть 80% вероятность того, что метод дал верный результат, и 20% вероятность того, что результат исследования неправильный (ложноотрицательный)
• если у пациентки заболевание не выявили, смотрим на вторую колонку. С вероятностью 9,6% можно сказать, что положительный результат исследования неверен, и с 90,4% вероятностью можно сказать, что пациентка действительно здорова.

Насколько метод точен?

Теперь разберем положительный результат теста. Какова вероятность того, что человек действительно болен: 80%, 90%, 1%?

Давайте подумаем:

• Есть положительный результат. Разберем все возможные исходы: полученный результат может быть как истинным положительным, так и ложноположительным.
• Вероятность истинного положительного результата равна: вероятность заболеть, умноженная на вероятность того, что тест действительно выявил заболевание. 1% * 80% = .008
• Вероятность ложноположительного результата равна: вероятность того, что заболевания нет, умноженная на вероятность того, что метод выявил заболевание неверно. 99% * 9.6% = .09504

Теперь таблица выглядит так:

Какова вероятность, что человек действительно болен, если получен положительный результат маммограммы? Вероятность события - это отношение количества возможных исходов события к общему количеству всех возможных исходов.

Вероятность события = исходы события / все возможные исходы

Вероятность истинного положительного результата – .008. Вероятность положительного результата - это вероятность истинного положительного исхода + вероятность ложноположительного.

(.008 + 0.09504 = .10304)

Итак, вероятность заболевания при положительном результате исследования рассчитывается так: .008/.10304 = 0.0776. Эта величина составляет около 7.8%.

То есть положительный результат маммограммы значит только то, что вероятность наличия заболевания – 7,8%, а не 80% (последняя величина - это лишь предполагаемая точность метода). Такой результат кажется поначалу непонятным и странным, но нужно учесть: метод дает ложноположительный результат в 9,6% случаев (а это довольно много), поэтому в выборке будет много ложноположительных результатов. Для редкого заболевания большинство положительных результатов будут ложноположительными.

Давайте пробежимся глазами по таблице и попробуем интуитивно ухватить смысл теоремы. Если у нас есть 100 человек, только у одного из них есть заболевание (1%). У этого человека с 80% вероятностью метод даст положительный результат. Из оставшихся 99% у 10% будут положительные результаты, что дает нам, грубо говоря, 10 ложноположительных исходов из 100. Если мы рассмотрим все положительные результаты, то только 1 из 11 будет верным. Таким образом, если получен положительный результат, вероятность заболевания составляет 1/11.

Выше мы посчитали, что эта вероятность равна 7,8%, т.е. число на самом деле ближе к 1/13, однако здесь с помощью простого рассуждения нам удалось найти приблизительную оценку без калькулятора.

Теорема Байеса

Теперь опишем ход наших мыслей формулой, которая и называется теоремой Байеса. Эта теорема позволяет исправить результаты исследования в соответствии с искажением, которое вносят ложноположительные результаты:

• Pr(A|X) = вероятность заболевания (А) при положительном результате (X). Это как раз то, что мы хотим знать: какова вероятность события в случае положительного исхода. В нашем примере она равна 7,8%.
• Pr(X|A) = вероятность положительного результата (X) в случае, когда больной действительно болен (А). В нашем случае это величина истинных положительных – 80%
• Pr(A) = вероятность заболеть (1%)
• Pr(not A) = вероятность не заболеть (99%)
• Pr(X|not A) = вероятность положительного исхода исследования в случае, если заболевания нет. Это величина ложноположительных – 9,6 %.

Можно сделать заключение: чтобы получить вероятность события, нужно вероятность истинного положительного исхода разделить на вероятность всех положительных исходов. Теперь мы можем упростить уравнение:
Pr(X) – это константа нормализации. Она сослужила нам хорошую службу: без нее положительный исход испытаний дал бы нам 80% вероятность события.
Pr(X) – это вероятность любого положительного результата, будет ли это настоящий положительный результат при исследовании больных (1%) или ложноположительный при исследовании здоровых людей (99%).

В нашем примере Pr(X) – довольно большое число, потому что велика вероятность ложноположительных результатов.

Pr(X) создает результат 7,8%, который на первый взгляд кажется противоречащим здравому смыслу.

Смысл теоремы

Мы проводим испытания, чтоб выяснить истинное положение вещей. Если наши испытания совершенны и точны, тогда вероятности испытаний и вероятности событий совпадут. Все положительные результаты будут действительно положительными, а отрицательные - отрицательными. Но мы живем в реальном мире. И в нашем мире испытания дают неверные результаты. Теорема Байеса учитывает искаженные результаты, исправляет ошибки, воссоздает генеральную совокупность и находит вероятность истинного положительного результата.

Спам-фильтр

Теорема Байеса удачно применяется в спам-фильтрах.

У нас есть:

• событие А - в письме спам
• результат испытания - содержание в письме определенных слов:

Фильтр берет в расчет результаты испытаний (содержание в письме определенных слов) и предсказывает, содержит ли письмо спам. Всем понятно, что, например, слово «виагра» чаще встречается в спаме, чем в обычных письмах.

Фильтр спама на основе черного списка обладает недостатками - он часто выдает ложноположительные результаты.

Спам-фильтр на основе теоремы Байеса использует взвешенный и разумный подход: он работает с вероятностями. Когда мы анализируем слова в письме, мы можем рассчитать вероятность того, что письмо - это спам, а не принимать решения по типу «да/нет». Если вероятность того, что письмо содержит спам, равна 99%, то письмо и вправду является таковым.

Со временем фильтр тренируется на все большей выборке и обновляет вероятности. Так, продвинутые фильтры, созданные на основе теоремы Байеса, проверяют множество слов подряд и используют их в качестве данных.

Дополнительные источники:

Теги: Добавить метки