Расчет доверительного интервала

Программа социологического исследования состоит из разделов: методологического и процедурного. Методологический раздел предполагает постановку цели, задач, определение проблемы и объекта исследования, интерпретацию понятий, выдвижение гипотез. На процедурном этапе составляется план исследования, формируется набросок процедур сбора и анализа данных, обосновывается система выборки.

Построить систему выборки означает определить тип выборки, отобрать и рассчитать единицы исследования. При построении выборки необходимо понимать основные термины калькулятора: объект исследования, генеральная и выборочная совокупность, а также единица исследования.

Объект исследования и генеральная совокупность Случаные методы отбора К случайным методам отбора единиц исследования Н.Н.Чурилов относит:

  1. Стратификационный отбор, т.е. разделение выборки на однородные группы и последовательный отбор единиц исследования уже из этих групп. Это жители одного микрорайона, представители молодежи;
  2. Случайный отбор — это отбор, при котором единицы исследования выстраиваются в порядок, список и отбираются, чаще всего, с помощью таблицы случайных чисел;
  3. Гнездовой отбор — это отбор, который в качестве единицы исследования рассматривает не одного человека, а зачастую группу. При этом учитывается мнение не всех членов «гнезда», а только одного. Семья, домохозяйство, субкультура- примеры гнездовой выборки;
  4. Систематический отбор схож со случайным, но основывается не на вероятностных процедурах, а на алфавитных списках, данных из баз, книге с номерами и адресами и т.д. В этом виде отбора имеет место шаг отбора, т.е. установленный интервал, через который отбираются респонденты. К примеру, опрашивается каждый третий пациент поликлиники (шаг=3).

Неслучайные способы Неслучайные способы не основываются на случайном отборе. Исследователь произвольно определяет структуру и состав выборки. К ним относятся:

  1. Квотный отбор- отбор, при котором каждое структурное подразделение генеральной совокупности имеет отражение в выборке с соответствующим процентом единиц исследования;
  2. Целевой отбор — отбор, при котором в выборку попадают представители только целевой группы.
  3. Метод «снежного кома»- способ отбора единиц исследования, подразумевающий, что человек, который участвовал в исследовании, привлечет новых респондентов.

Расчет объема выборки

Размер выборки зависит от двух факторов:

  1. Степени однородности генеральной совокупности. Наблюдается обратная зависимость: чем выше степень однородности, тем меньше может быть объем выборки и наоборот.
  2. Количества ключевых параметров, на основании которых строится выборка. Параметры являются фильтрами отбора единиц исследования в выборку.

Размер выборки рассчитывается по формуле, в которой необходимо знать генеральную совокупность, определить желаемую и/или необходимую доверительную вероятность и доверительный интервал (погрешность). Формула, по которой производится расчет, также имеет показатель Z, значение которого зависит от доверительного уровня.

Доверительный интервал (погрешность)- это предельные значения, в рамках которых с установленной доверительной вероятностью попадет статистическая величина.

Доверительная вероятность есть показатель статистической вероятности того, что случайно выбранный ответ попадет в доверительный интервал. Высокой доверительной вероятностью считается 95% и 99%, средней- 85% и 80%. Чем выше доверительная вероятность, тем большее число человек необходимо включить в выборку.

Доверительная вероятность в 95% и соответственно +/- 5% погрешности в опросе москвичей будут означать, что случайно отобранный ответ в 95% случаев по статистике попадет в доверительный интервал.

Расчет доверительного интервала, погрешности

Требованием к построению выборки является репрезентативность. Репрезентативность для исследования означает, что состав выборки по ряду параметров соответствует пропорциям генеральной совокупности.

Исследователь выделяет параметры, которые имеют ключевое значение. Им должна соответствовать выборочная совокупность. Чаще всего к ним относят: пол, возраст, профессию/должность, семейное положение, уровень дохода, образование и т.д.

Ошибки выборки могут быть случайными и систематическими.

  1. Давление доступных объектов. Данная ошибка проявляется в том случае, если выводы, полученные в результате исследования только доступной части выборки, обобщаются и проектируются на всю выборочную совокупность.
  2. Иллюзия постоянства. Ошибка иллюзии постоянства заключается в том, что при проведении исследования пренебрегается та категория, которая не имеет четкого мнения. Но мнение может сформироваться, поменяться. В этом случае исследователь упускает ценную информацию.
  3. Недостаточный учет аномальных и труднодоступных единиц исследования. Речь идет о том, что в случае возникновения трудностей с налаживанием контакта, получением доступа к некоторым категориям населения, исследователь может ими пренебречь. Если учет аномальных и труднодоступных единиц исследования не отражен в концепции исследования, в задачах, гипотезах, то его можно опустить без риска снижения качества данных.
  4. Отказ от ответа. Отказ от ответа плох тем, что человек уже стал респондентом, его ответ фиксируется, но он не является информативным. А также значительно изменяют усредненные показатели, выводы.

Случайные ошибки бывают двух видов.

Первый вид включает случайные ошибки, которые появляются на этапах наблюдения и сбора информации. Это ошибки процедурные. Причинами допущения такого рода ошибок может быть неквалифицированный интервьюер/ анкетер, а также неполный охват выборки.

Второй вид случайных ошибок выражается в отклонении характеристик выборки от характеристик генеральной совокупности. Случайные ошибки можно исправить, организовав дополнительный сбор информации.

image

Z – коэффициент, зависящий от выбранного исследователем доверительного уровня. Доверительный уровень (или доверительная вероятность) – это вероятность того, что реальное значение измеряемого показателя (по всей генеральной совокупности) находится в пределах доверительного интервала, полученного в исследовании. Доверительный уровень выбирает сам исследователь, исходя из требований к надежности результатов исследования. В маркетинговых исследованиях обычно применяется 95%-й доверительный уровень. Ему соответствует значение Z = 1,96.

N – объем генеральной совокупности. Генеральная совокупность – это все люди, которые изучаются в исследовании (например, все покупатели соков и нектаров, постоянно проживающие в Москве и Московской области). Если генеральная совокупность значительно больше объема выборки (в сотни и более раз), ее размером можно пренебречь (формула 1).

p – доля респондентов с наличием исследуемого признака. Например, если 20% опрошенных заинтересованы в новом продукте, то p = 0,2.

q = 1 — p – доля респондентов, у которых исследуемый признак отсутствует. Значения p и q обычно принимаются за 0,5, поскольку точно неизвестны до проведения исследования. При этом значении размер ошибки выборки максимален. В данном калькуляторе значения p и q по умолчанию равны 0,5.

Δ– предельная ошибка выборки (для доли признака, доверительный интервал («погрешность» ± %)), приемлемая для исследователя. Считается, что для принятия бизнес-решений ошибка выборки не должна превышать 4%.

n – объем выборки. Объем выборки – это количество людей, которые опрашиваются в исследовании.

Генеральная совокупность значительно больше выборкиimageГенеральная совокупность сопоставима с объемом выборки

Доверительная вероятность, % Z фактор
85 1.28
90 1.645
95 1.96
97 2.17
99 2.58
99.7 3

Если сделано несколько измерений случайной величины, то это даст набор чисел, который может охарактеризовать вероятность того, какие значения она будет принимать в дальнейшем. При использовании статистических методов, возможно предсказать её поведение в дальнейшем. В Excel существуют встроенные статистические функции, которые смогут в этом помочь, среди которых «доверительный интервал».

Что такое «Доверительный интервал»

Получив несколько цифр, может потребоваться предсказать то, какое среднее значение будет у них в дальнейшем и какого разброса нужно ожидать. Это можно пояснить на следующем примере.

На заводе выпускаются детали одного типа. У них измеряется определённая характеристика. В каждом случае она может немного отличаться. В этой ситуации важно понять, находится ли она в пределах нормы или детали были сделаны с нарушением технологии.

В таком случае для анализа доступны все сделанные измерения. На их основании нужно сделать вывод о том, какова вероятность того, что их отклонение от нормативной величины не слишком велико.

Для того чтобы найти ответ, нужно прибегнуть к точным формулировкам:

  1. Полученные результаты измерений — это значения случайной величины.
  2. Необходимо установить, в какой интервал с заданной вероятностью попадут новые цифры.

Если нормативная характеристика попадает в указанный промежуток (его называют доверительным интервалом с заданной вероятностью), то тестируемые изделия были сделаны качественно.

Здесь имеется несколько важных моментов, на которые надо обратить внимание:

  1. Все вычисления делаются в предположении, что исследуемая случайная величина имеет определённую функцию распределения. Часто её точное выяснение является сложной задачей. Однако в большинстве важных ситуаций речь идёт о нормальном распределении. Поэтому предполагается, что его надо применять в большинстве случаев.
  2. Для проведения статистических вычислений потребуется указать стандартное отклонение. В некоторых случаях его узнают, предварительно проводя дополнительные измерения. В других — его можно менее надёжно вычислить с помощью имеющихся значений.

  Способы удаления пустых строк и столбцов в Excel

На основании изложенных принципов можно вычислить доверительный промежуток с заданной надёжностью.

Как рассчитать «Доверительный интервал»?

Для того чтобы провести вычисления с использованием электронных таблиц, нужно вписать исследуемые значения в столбик. Далее выделяют отдельную ячейку, в которой расположится формула для вычислений и будет показан результат.

После того, как выбрана нужная клеточка, необходимо прибегнуть к помощи мастера. Его можно вызвать, нажав на кнопку, где есть обозначение «fx». После этого появится окно для выбора. Функции для вычисления доверительного интервала можно найти в категории статистических.

Её результат равен максимальной величине отклонения от среднего.

Таким образом, для получения левой границы доверительного интервала нужно из среднего значения вычесть полученное отклонение, а для правой — прибавить.

Функция ДОВЕРИТ.НОРМ

Эта функция присутствует в Excel, начиная с офиса 2010. До этого вместо неё использовалась ДОВЕРИТ(), которая от неё ничем не отличается.

При использовании мастера её нужно искать в разделе статистических.

Для того чтобы её использовать, надо ввести цифры в столбик и выбрать ячейку, в которой будут проводиться вычисления. Затем нажимают кнопку вызова мастера функций. Потребуется ввести три аргумента:

  1. Первый называется «альфа». Здесь нужно указать вероятность, с какой случайная величина должна попадать внутрь искомого интервала. Обычно в условиях задачи её указывают в процентах. Пусть речь идёт о 95%. Нужный параметр получают по формуле (100 — Процент)/100, где Процент =95. В рассматриваемом случае альфа=0,05.
  2. Здесь пишут стандартное отклонение. К моменту проведения вычислений оно должно быть известно. Это число является вторым параметром в формуле.
  3. На третьем месте нужно указать количество полученных результатов. Эту цифру можно ввести руками, а можно для этого использовать СЧЁТ(), которая считает количество ячеек в выбранной области.

  Поиск в Эксель с использование функции «ПОИСКПОЗ» и «ИНДЕКС»

После того, как данные будут указаны, их надо подтвердить. После этого в выбранной клеточке будет получена половина длины полученного интервала (Дл).

Теперь надо вычислить среднюю величину (Ср). Это делают с помощью мастера функций, используя СРЕДН().

Теперь можно определить границы доверительного интервала. Для этого в одной из ячеек вычисляют Ср-Дл (левая граница), а в другой — Ср+Дл Правая граница.

При вычислении предполагается, что искомая случайная величина имеет нормальное распределение.

Функция ДОВЕРИТ.СТЮДЕНТ

Эта функция впервые появилась в Excel 2010. Раньше она не использовалась. Её применение во многом аналогично применению ДОВЕРИТ.НОРМ(), за исключением следующих особенностей:

  1. Здесь используется не нормальное распределение, а распределение Стьюдента.
  2. ДОВЕРИТ.СТЮДЕНТ() применяется в тех случаях, когда нет информации о том, чему равно стандартное отклонение. При этом оно вычисляется на основе предоставленных значений случайной величины.

Разница в использовании состоит в том, что при указании второго параметра пишут не число, а формулу для определения из имеющихся значений с использованием СТАНДОТКЛОН.В().

Остальные вычисления проводятся так же, как в предыдущем случае.

Как найти границу интервала

С помощью ДОВЕРИТ.СТЮДЕНТ() и ДОВЕРИТ.НОРМ() можно получить отклонение границ интервала (Откл) от среднего значения. При этом:

  1. Левая граница доверительного интервала равна (среднее значение — Откл).
  2. Правая — (среднее значение + Откл).

Новые значения случайной величины попадут внутрь этого интервала с заданной вероятностью.

Пример расчета

Для пояснения сказанного будет приведён следующий пример.

Были получены 12 значений. Они были внесены в Excel. Цифры указаны на следующем рисунке.

Цифрой 1 обозначена ячейка где будут происходить вычисления. Цифра 2 соответствует вызову мастера функций.

Далее происходит выбор функции для помещения в клеточку.

Затем нужно ввести параметров для вычисления. Вероятность попадания в интервал должна составлять 97%, отклонение известно — оно равно 8.

  Как использовать функцию «Найти и заменить» в Excel

Для определения количества значений используется СЧЁТ().Получена ширина доверительного интервала, равная 5,011609.

Далее вычисляются левая и правая пределы искомого отрезка, они и будут являться границами доверительного интервала.

В целом, в Excel имеется большой набор функций, который позволяет вычислять статистические характеристики. Для этого достаточно внести данные в электронную таблицу и воспользоваться мастером функций.

Читайте также:

Доверительный интервал для математического ожидания — это такой вычисленный по данным интервал, который с известной вероятностью содержит математическое ожидание генеральной совокупности. Естественной оценкой для математического ожидания является среднее арифметическое её наблюденных значений. Поэтому далее в течение урока мы будем пользоваться терминами «среднее», «среднее значение». В задачах рассчёта доверительного интервала чаще всего требуется ответ типа «Доверительный интервал [95%; 90%; 99%] среднего числа [величина в конкретной задаче] находится от [меньшее значение] до [большее значение]». С помощью доверительного интервала можно оценивать не только средние значения, но и удельный вес того или иного признака генеральной совокупности. Средние значения, дисперсия, стандартное отклонение и погрешность, через которые мы будем приходить к новым определениям и формулам, разобраны на уроке Характеристики выборки и генеральной совокупности.

Точечная и интервальная оценки среднего значения

Если среднее значение генеральной совокупности оценивается числом (точкой), то за оценку неизвестной средней величины генеральной совокупности принимается конкретное среднее, которое рассчитано по выборке наблюдений. В таком случае значение среднего выборки — случайной величины — не совпадает со средним значением генеральной совокупности. Поэтому, указывая среднее значение выборки, одновременно нужно указывать и ошибку выборки. В качестве меры ошибки выборки используется стандартная ошибка , которая выражена в тех же единицах измерения, что и среднее. Поэтому часто используется следующая запись: .

Если оценку среднего требуется связать с определённой вероятностью, то интересующий параметр генеральной совокупности нужно оценивать не одним числом, а интервалом. Доверительным интервалом называют интервал, в котором с определённой вероятностью P находится значение оцениваемого показателя генеральной совокупности. Доверительный интервал, в котором с вероятностью P = 1 — α находится случайная величина , рассчитывается следующим образом:

,

где — критическое значение стандартного нормального распределения для уровня значимости α = 1 — P, которое можно найти в приложении к практически любой книге по статистике.

На практике среднее значение генеральной совокупности и дисперсия не известны, поэтому дисперсия генеральной совокупности заменяется дисперсией выборки , а среднее генеральной совокупности — средним значением выборки . Таким образом, доверительный интервал в большинстве случаев рассчитывается так:

.

Формулу доверительного интервала можно использовать для оценки среднего генеральной совокупности, если

  • известно стандартное отклонение генеральной совокупности;
  • или стандартное отклонение генеральной совокупности не известно, но объём выборки — больше 30.

Среднее значение выборки является несмещённой оценкой среднего генеральной совокупности . В свою очередь, дисперсия выборки не является несмещённой оценкой дисперсии генеральной совокупности . Для получения несмещённой оценки дисперсии генеральной совокупности в формуле дисперсии выборки объём выборки n следует заменить на n-1.

Пример 1. Собрана информация из 100 случайно выбранных кафе в некотором городе о том, что среднее число работников в них составляет 10,5 со стандартным отклонением 4,6. Определить доверительный интервал 95% числа работников кафе.

Решение:

,

где — критическое значение стандартного нормального распределения для уровня значимости α = 0,05.

Таким образом, доверительный интервал 95% среднего числа работников кафе составил от 9,6 до 11,4.

Статистика — не Ваша специализация? Закажите статистическую обработку данных

Пример 2. Для случайной выборки из генеральной совокупности из 64 наблюдений вычислены следующие суммарные величины:

сумма значений в наблюдениях ,

сумма квадратов отклонения значений от среднего .

Вычислить доверительный интервал 95 % для математического ожидания.

Решение:

вычислим стандартное отклонение:

,

вычислим среднее значение:

.

Подставляем значения в выражение для доверительного интервала:

.

где — критическое значение стандартного нормального распределения для уровня значимости α = 0,05.

Получаем:

.

Таким образом, доверительный интервал 95% для математического ожидания данной выборки составил от 7,484 до 11,266.

Пример 3. Для случайной выборки из генеральной совокупности из 100 наблюдений вычислено среднее значение 15,2 и стандартное отклонение 3,2. Вычислить доверительный интервал 95 % для математического ожидания, затем доверительный интервал 99 %. Если мощность выборки и её вариация остаются неизменными, а увеличивается доверительный коэффициент, то доверительный интервал сузится или расширится?

Решение:

Подставляем данные значения в выражение для доверительного интервала:

.

где — критическое значение стандартного нормального распределения для уровня значимости α = 0,05.

Получаем:

.

Таким образом, доверительный интервал 95% для среднего данной выборки составил от 14,57 до 15,82.

Вновь подставляем данные значения в выражение для доверительного интервала:

.

где — критическое значение стандартного нормального распределения для уровня значимости α = 0,01.

Получаем:

.

Таким образом, доверительный интервал 99% для среднего данной выборки составил от 14,37 до 16,02.

Как видим, при увеличении доверительного коэффициента увеличивается также критическое значение стандартного нормального распределения, а, следовательно, начальная и конечная точки интервала расположены дальше от среднего, и, таким образом, доверительный интервал для математического ожидания увеличивается.

Точечная и интервальная оценки удельного веса

Удельный вес некоторого признака выборки можно интерпретировать как точечную оценку удельного веса p этого же признака в генеральной совокупности. Если же эту величину нужно связать с вероятностью, то следует рассчитать доверительный интервал удельного веса p признака в генеральной совокупности с вероятностью P = 1 — α:

.

Пример 4. В некотором городе два кандидата A и B претендуют на пост мэра. Случайным образом были опрошены 200 жителей города, из которых 46% ответили, что будут голосовать за кандидата A, 26% — за кандидата B и 28% не знают, за кого будут голосовать. Определить доверительный интервал 95% для удельного веса жителей города, поддерживающих кандидата A.

Решение:

Таким образом, доверительный интервал 95% удельного веса горожан, поддерживающих кандидата A, составил от 0,391 до 0,529.

Пример 5. Чтобы проверить отношение покупателей к новому квасу, проведён опрос случайной выборки в 50 человек. Результаты обобщены в следующей таблице (0 — не понравился, 1 — понравился, 2 — нет ответа):

1 1 2
1 2
1
1 1
2 1
1 1
2 2 1
1 2
1 1
1 1

Найти доверительный интервал 95 % удельного веса покупателей, которым новый квас не понравился.

Решение.

Найдём удельный вес указанных покупателей в выборке: 29/50 = 0,58. Таким образом, , . Мощность выборки известна (n = 50). Критическое значение стандартного нормального распределения для уровня значимости α = 0,05 равно 1,96. Подставляем имеющиеся показатели в выражение интервала для удельного веса:

Таким образом, доверительный интервал 95% удельного веса покупателей, которым новый квас не понравился, составил от 0,45 до 0,71.

Статистика — не Ваша специализация? Закажите статистическую обработку данныхПройти тест по теме Теория вероятностей и математическая статистикаК началу страницыВсё по теме «Математическая статистика»Характеристики выборки и генеральной совокупности: среднее значение, дисперсия, погрешности выборкиПроверка статистических гипотезПарная линейная регрессия. Задачи регрессионного анализаМножественная корреляция, её коэффициент. Частная корреляцияМножественная линейная регрессия. Улучшение модели регрессииДисперсионный анализ: соединение теории и практики Содержание

Доверительный интервал

Классификация доверительных интервалов

Расчет средней ошибки выборки при случайном отборе

Расхождение между значениями показателей, полученных по выборке, и соответствующими параметрами генеральной совокупности называется ошибкой репрезентативности. Обозначения основных параметров генеральной и выборочной совокупности.

Характеристики Генеральная совокупность Выборочная совокупность
Объем совокупности (численность единиц) N n
Численность единиц, обладающих обследуемым качеством (признаком) M m
Доля единиц, обладающих обследуемым качеством (признаком), выборочная доля
Формулы средней ошибки выборки
повторный отбор бесповторный отбор
для средней для доли для средней для доли

Соотношение между пределом ошибки выборки (Δ), гарантируемым с некоторой вероятностью Р(t), и средней ошибкой выборки имеет вид: или Δ = t·μ, где t– коэффициент доверия, определяемый в зависимости от уровня вероятности Р(t) по таблице интегральной функции Лапласа.

Формулы расчета численности выборки при собственно-случайном способе отбора

Способ отбора Формулы определения численности выборки
для средней для доли
Повторный
Бесповторный

Найти численность выборки можно, использовав калькулятор.

Метод доверительных интервалов

Решение ищем по формуле определения численности выборки для повторного отбора. Ф(tkp) = γ/2 = 0.997/2 = 0,4985 и этому значению по таблице Лапласа соответствует tkp =2.96. w = 9% = 0,09 Δ = 4% = 0,04 Итого: n = 2.96 2 *0,09(1-0,09)/0,04 2 = 448,4844 ≈ 449

Задание. Поточная линия по производству однотипных деталей подвергалась реконструкции Заданы две выборки отображающие процент брака в партиях деталей выпускаемых на данной линии до и после реконструкции Можно ли достоверно утверждать, что после реконструкции процент брака в партиях деталей снизился?

2. Вводим исходные данные.

Поле «Доверительный интервал генерального среднего, дисперсия и среднеквадратическое отклонения » указываем значение γ = 0.95 (что соответствует α=0.05).

В поле « Выборка » указываем значение 10 (поскольку из 49 значений выбрали 5, что соответствует 10,2% (5/49×100%)).

Решение. Используя результаты расчетов, выполненных в задании № 2 и полагая, что эти данные получены при помощи повторного отбора, определить: а) пределы, за которые в генеральной совокупности не выйдет значение доли предприятий, у которых индивидуальные значения признака превышают моду с доверительной вероятностью 0.954 ; б) как изменить объем выборки, чтобы снизить предельную ошибку доли на 20%.

Задание №5: На заводе электроламп из партии продукции в количестве 16000 шт. ламп взято на выборку 1600 шт. (случайный, бесповторный отбор), из которых 40 шт. оказались бракованными. Определить с вероятностью 0.997 пределы, в которых будет находиться процент брака для всей партии продукции.

Читайте также:  Радио гороскоп на удачу

Источник

О формуле Байеса, прогнозах и доверительных интервалах

На Хабре много статей по этой теме, но они не рассматривают практических задач. Я попытаюсь исправить это досадное недоразумение. Формула Байеса применяется для фильтрации спама, в рекомендательных сервисах и в рейтингах. Без нее значительное число алгоритмов нечеткого поиска было бы невозможно. Кроме того, это формула явилась причиной холивара среди математиков.

Введение

Начнем издалека. Если наступление одного события увеличивает или уменьшает вероятность наступления другого, то такие события называются зависимыми. Тервер не изучает причинно-следственные связи. Поэтому зависимые события не обязательно следствия друг-друга, связь может быть не очевидной. Например, «у человека голубые глаза» и «человек знает арабский» — зависимые события, поскольку у арабов голубые глаза встречаются крайне редко.

Давайте подумаем чему равно вероятность наступления двух событий одновременно. P(AB). Вероятности наступления первого события умноженной на вероятность наступления второго события, в случае наступления первого. P(AB)=P(A)P(B|A). Теперь, если вспомнить, что P(AB)= P(BA). Получим, P(A)P(B|A)=P(B)P(A|B). Перенесем P(B) влево и получим формулу Байеса:

Все настолько просто, что 300 лет тому назад эту формулу вывел простой священник. Но это не уменьшает практической ценности этой теоремы. Она позволяет решать «обратную задачу»: по данным испытаний оценить ситуацию.

Прямая и обратная задачи

Прямую задачу можно описать так: по причине найти вероятность одного из следствий. Например, дана абсолютно симметричная монета (вероятность выпадения орла, как и решки, равны 1/2). Нужно посчитать вероятность того, что если мы дважды подкинем монету, оба раза выпадет орел. Очевидно, что она равна 1/2 * 1/2 =1/4.

Но проблема в том, что мы знаем вероятность того или иного события только в меньшинстве случаев, почти все их которых искусственные, например, азартные игры. При этом в природе нет ничего абсолютного, вероятность выпадения орла у реальной монеты равна 1/2 только приблизительно. Можно сказать, что прямая задача изучает некоторых сферических коней в вакууме.

На практике, важнее обратная задача: оценить ситуацию по данным испытаний. Но проблема обратной задачи в том, что ее решение сложнее. Главным образом из-за того, что наше решения будет не точкой P=С, а некоторой функцией P=f(x).

Например, у нас есть монета, нужно оценить с помощью опытов вероятность выпадения решки. Если мы подкинули монету 1 раз и выпал орел, то это не значит, что всегда выпадают орлы. Если 2 раза подкинули и получили 2 орла, то опять это не значит, что выпадают только орлы. Чтобы получить абсолютно точно вероятность выпадения решки, мы должны подкинуть монету бесконечное число раз. На практике это не возможно и мы всегда вычисляем вероятность события с некоторой точностью.

Мы вынуждены использовать некоторую функцию. Обычно ее принято обозначать как P(p=x|s решек, f орлов) и называть плотностью вероятности. Читается это так вероятность, того, что вероятность выпадения орла равна x, если по данным эксперимента выпало s решек и f орлов. Звучит сложно звучит из-за тафтологии. Проще считать p некоторым свойством монетки, а не вероятностью. И читать: так вероятность того, что p=x…

Читайте также:  Павел глоба медицинская астрология

Забегая вперед скажу, что если в первую монетку подкинем 1000 раз и получим 500 орлов, а вторую 10000 и получим 5000 орлов, то плотности вероятности будут выглядеть так:

Из-за того, что у нас не точка, а кривая мы вынуждены использовать доверительные интервалы. Например, если говорят 80% доверительный интервал для p равен 45% до 55%, то это значит с 80% вероятностью p находиться между 45% и 55%.

Биномиальное распределение

Для простоты будем рассматривать биномиальное распределение. Это распределение количества «успехов» в последовательности из некоторого числа независимых случайных экспериментов, таких, что вероятность «успеха» в каждом из них постоянна. Оно наблюдается практически всегда, когда у нас есть последовательность испытаний с двумя возможными исходами. Например, когда мы несколько раз подкидываем монету, или оцениваем CTR банера, или конверсию на сайте.

Для примера будем считать, что нам нужно оценить вероятность выпадения решки у монеты. Мы подкинули монету некоторое число раз и получили f орлов и s решек. Обозначим это событие как [s,f] и подставим это в формулу Байеса вместо B. Событие когда p равно некоторому числу будем обозначать как p=x и подставим вместо события А.

P([s,d]|p=x), Вероятность получить [s,d], если p=x, при условии, что p=x нам известна P([s,f]|p=x)=K(f,s) * x^s (1-x)^f. Где K(f,s) биномиальный коэффициент. Получаем:

Нам неизвестна P([s,f]). Да и биномиальный коэффициент вычислить проблематично: там факториалы. Но эти проблемы можно решить: суммарная вероятность всех возможных x должна быть равна 1.

С помощью простых преобразований мы получим формулу:

Программируется это просто, всего 10 строк:

Однако, у нас остается неизвестной P(p=x). Она выражает, насколько вероятно, что p=x, если данных по эксперименту у нас нет. Эту функцию принято называть априори. Из-за нее и произошел холивар в теории вероятностей. Вычислить априори строго математически мы не можем, только задать субъективно. А без априори мы не можем решить обратную задачу.

Холивар

Сторонники классической интерпретации (частотного подхода, ЧП), считают, что все возможные p равновероятны до начала эксперимента. Т.е. перед экспериментом нужно «забыть» те данные, которые нам известны до него. Их оппоненты, сторонники байесовского подхода (БП), считают, что нужно задать какую-то априори исходя из наших знаний до начала эксперимента. Это фундаментальное отличия, даже определение понятия вероятности у этих групп разное.

Кстати, создатель этой формулы, Томас Баейс умер лет на 200 раньше холивара и отношение к этому спору имеет только косвенное. Формула Байеса часть обоих конкурирующих теорий.

Частотный подход(ЧП) лучше подходит для науки, где нужно объективно доказать какую-то гипотезу. Например, то что смертность от препарата меньше определенного порога. Если же вам нужно, учитывая всю доступную информацию, принять решение, то лучше использовать БП.

ЧП не подходит для прогнозирования. Кстати, формулы доверительных интервалов, считают доверительные интервал по ЧП. Сторонники БП, обычно, в качестве априори для биномиального распределения используют Бета распределение, при a=1 и b=1 оно вырождается в непрерывное распределение, которое используют их противники. В итоге формула принимает вид:

Это универсальная формула. При использовании ЧП нужно задать b=a=1. Сторонники БП некоторым образом должны выбрать эти параметры, так чтобы получилось правдоподобное бета-распределение. Зная a и b можно использовать формулы ЧП, например для расчета доверительного интервала. Например, мы выбрали a=4.5, b=20, у нас есть 50 успехов и 100 неудач, чтобы вычислить доверительный интервал в БП нам нужно в обычную формулу ввести 53.5 (50+4.5-1) успеха и 119 неудачу.

Читайте также:  Платный гороскоп на год

Однако, у нас нет никаких критериев выбора a и b. Следующая глава расскажет как их выбрать по статическим данным.

Прогноз

Логичнее всего в качестве прогноза использовать мат. ожидание. Его формулу легко получить из формулы мат. ожидания бета-рапределения. Получим:

.

Например, у нас есть сайт, со статьями. На каждой из них есть кнопка «лайк». Если мы будем сортировать по числу лайков, то у новых статей мало шансов перебить старых. Если мы будем сортировать по соотношению лайков к посещениям, то статьи с одном заходом и одним лайком будут перебивать статью с 1000 заходами и с 999 лайками. Разумнее всего сортировать по последней формуле, но нужно каким-то образом определить a и b. Самый простой способ через 2 основных момента бета-распределения: мат. ожидание (сколько в среднем будет) и дисперсию (каково в среднем отклонение от среднего).

Пусть L средняя вероятность лайка. Из матожидания бета-распределения L=a/(a+b) =>a+b=a/L=> aL+bL=a => b=a(1/L — 1). Подставим в формулу дисперсии:

На псевдокоде это будет выглядеть так:

Не смотря на то, что данный выбор a и b кажется объективным. Это не строгая математика. Прежде всего не факт, что лайкабельность статей подвержена Бета-распределению, в отличии от биномиального это распределение «не физично», оно введено для удобства. Мы по сути подогнали кривую к статистическим данным. Причем вариантов подгонки есть несколько.

Шанс побить всех

Например, мы провели А/B тест нескольких вариантов дизайна сайта. Получили некоторые результаты и думаем, нужно ли его останавливать. Если мы остановимся слишком рано мы можем выбрать не верный вариант, но остановиться когда-то все-таки нужно. Мы можем оценивать доверительные интервалы, но их анализ сложен. Как минимум, поскольку в зависимости от коэффициента значимости у нас получаются разные доверительные интервалы. Сейчас я покажу как посчитать вероятность того, что один вариант лучше всех остальных.

Кроме зависимых событий существуют и независимые события. Для таких событий P(A|B)=P(A). Поэтому P(AB)=P(B)P(A|B)=P(A)P(B). Для начала нужно показать что варианты независимы. Кстати сравнивать доверительные интервалы корректно, только в случае когда варианты независимы. Как уже было сказано, сторонники ЧП отбрасывают все данные кроме самого эксперимента. Варианты это отдельные эксперименты, поэтому каждый из них зависит только от своих результатов. Поэтому они независимы.

Для БП доказательство сложнее, основной момент, что априори «изолирует» варианты друг от друга. Например, события «голубые глаза» и «знает арабский» зависимы, а события «араб знает арабский» и «у араба голубые глаза» нет, поскольку взаимосвязь между первыми двумя событиями исчерпывается событием «человек араб». Более верная запись P(p=x) в нашем случае следующая: P(p=x|apriori=f(x)). Поскольку все зависит от выбора функции априори. А события P(pi=x|apriori=f(x)) и P(pj=x|apriori=f(x)) независимы, поскольку единственная взаимосвязь между ними это функция априори.

Источник

Оцените статью
Рейтинг автора
5
Материал подготовил
Илья Коршунов
Наш эксперт
Написано статей
134
А как считаете Вы?
Напишите в комментариях, что вы думаете – согласны
ли со статьей или есть что добавить?
Добавить комментарий