Исследование ряда истинных ошибок на нормальное распределение

Исследование ряда погрешностей на соответствие нормальному закону распределения

Исследование ряда погрешностей на соответствие нормальному закону
распределения

1.
Теоретические основы выполнения исследований

Обработка результатов
измерений имеет место всегда, когда одна из определяемых величин получена
несколько раз с отличными друг от друга значениями. При этом корректная оценка
полученных результатов возможна, только если известны правила, определяющие
поведение погрешностей измерений ∆. К главным таким правилам относят
законы поведения погрешностей в дифференциальной F(∆)
и интегральной F (∆) формах, их
основные численные характеристики и представления законов в виде графического
материала. Интегральная форма называется функцией распределения погрешностей , дифференциальная форма
— функцией плотности распределения погрешностей . К основным
характеристикам законов относят наиболее вероятное значение определяемой
величины, называемое математическим ожиданием и обозначаемое МО (∆) или
М(∆), или Е(∆); меру рассеивания измерений вокруг математического
ожидания, называемую дисперсией и D(∆)
(чаще используют просто величину σ(∆),
называемую стандартом, так как он не имеет квадратичной размерности как у
дисперсии). К дополнительным характеристикам законов относят меру скошенности
относительно вертикальной оси симметрии, называемую асимметрией и обозначаемую
А или  и меру крутости,
называемую эксцессом и обозначаемую Е.

Множество теоретических
и практических исследований показывают, что результаты геодезических измерений
подчиняются нормальному закону распределения (закону Гаусса) и имеют вид

В процессе измерений
часто имеет место наличие грубых погрешностей (погрешностей, больших заданного
допуска) или промахов (т.е. очень сильно отличающихся от других). С другой
стороны, при наблюдениях в результатах могут содержаться и какие-либо
постоянные составляющие, называемые систематическими ошибками.

2.
Предварительные вычисления для исследования

В предварительных вычислениях ряд
исследуется на наличие значимых систематических и грубых погрешностей а также
меры однородности результатов по точности на основе каких-либо критериев.

Определение значимости
систематического влияния. Следует иметь
ввиду, что систематические влияния в рядах присутствуют всегда, но они могут
быть значимы и не значимы. При определении наличия значимых систематических
погрешностей в ряде имеют место два случая:

1) известно истинное значение
определяемой величины Х_ист и произведено ее измерений х. В этом
случае пользуются зависимостью

Где ∆=X- =— средняя квадратическая
погрешность среднего арифметического, m-СКП
одной величины, n — число элементов в
ряде. Величина  (квантиль t-распределения Стьюдента) определяется по уровню значимости q (или вероятности р) и числу избыточных измерений (числу степеней
свободы) k = n — 1 и выбирается из
статистических таблиц, или получается из какого либо программного продукта.
Если неравенство (2) выполняется, то с вероятностью р = 1 — q считаем, что значимые систематические погрешности в ряде
измерений отсутствуют.

2) Исследование
на наличие существенного систематического влияния по критерию Аббе.
Истинное значение величины не известно. Тогда наличие в результатах наблюдений
постоянной составляющей может быть выяснено по наиболее распространенному в
геодезии критерию Аббе [2 и др.]. Для этого выдвигаем гипотезу, что с
вероятностью β в предложенном ряде отсутствует значимое систематическое влияние.
По исследуемым величинам получаем практическую величину

являющуюся отношением двух оценок
дисперсий, средние квадратические ошибки которых получены как

где уклонение i — той
величины от среднего

последовательные
разности

Для сравнения, по
заданной вероятности β
(или уровню значимости q),
числу степеней свободы п и с использованием статистических таблиц критерия Аббе
получают контрольную величину . Тогда, при δ >  принимается гипотеза об
отсутствии систематической ошибки с вероятностью β
=1 — q. В противном случае (δ
< ) следует принять
гипотезу о постоянной составляющей в статистической совокупности и для
корректной оценки исследуемых параметров ее необходимо исключить из ряда
измерений. Для этого получают усредненную величину систематического влияния,
равную среднему арифметическому из всех элементов, которую и исключаем из
измерений, получая новый ряд  с уменьшенной по
сравнению с исходным рядом систематической составляющей

По исследуемым величинам получаю
практическую величину:

где

Проверим неравенство  ( Неравенство не
выполняется , значит модно
утверждать, что в исследуемом ряде отсутствуют существенные систематические
ошибки с вероятностью .

) Исследование ряда
данных на наличие грубых ошибок по критерию Граббса. (В зависимости от
требований задачи существует масса критериев, решающих поставленную задачу:
критерий Граббса, Диксона, Шарлье, Шовенэ и др. В работе для выявления грубых
погрешностей предлагается использовать критерий Граббса. Критерий дает
вероятность выполнения выдвинутой гипотезы о том, что максимальное, или
минимальное значение из ряда не являются грубыми погрешностями. Для этого по
экстремальным значениям выборки Х_тах и X_min,
среднему арифметическому  и средней
квадратической погрешности т, вычисляют значения

Если Z_выч < z_q, для максимального и минимального значения, то следует принять
гипотезу об отсутствии в ряде грубых погрешностей, так как экстремальные
значения не являются грубыми. Значения теоретической величины критерия z_q получают по
заданному аргументу q и числу элементов в выборке п по специальным статистическим
таблицам критерия Граббса для z_q. Если же z_fвыч > z_q, тогда или
наибольшее или наименьшее значение ряда из дальнейшей обработки следует
исключить.

Если не имеется таблиц статистики
критерия Смирнова-Граббса, то её можно достаточно точно получить на основе
формулы

где t_{a/ 2nn-2} — квантиль t-распределения Стьюдента с уровнем значимости а.

—          2 степенями свободы с п элементами в ряде.

где , ,

Из статистических таблиц
получим коэффициент

для вероятности  и степени свободы , равный. Проверяемое
неравенство  выполняется для
максимального и минимального значений ошибки:

Следовательно, можно
утверждать, то с вероятностью  ни левая, ни правая
крайние в ряде ошибки не являются грубыми.

) Оценки основных
характеристик ряда. Теоретическое значение математического ожидания для
нормального закона распределения Гаусса равно нулю и, следовательно, если
вычисленная его оценка  M(X) будет отличаться от нуля на величину не более утроенной
средней квадратической погрешности 3 *m = ∆_пред, то это говорит о том, что распределение
исследуемых величин может быть близко к нормальному, но только по критерию
близости теоретического значения математического ожидания к вычисленному значению.
Оценки математического ожидания, дисперсии и стандарта получим по следующим
формулам

Практические значения:

• среднее арифметическое
;

• средняя квадратическая
ошибка ;

• оценка дисперсии ;

5) Приближенные методы
исследования на соответствие нормальному закону. Приближенные
критерии исследования ряда погрешностей на соответствие нормальному закону
распределения используют сравнение некоторых известных теоретических
характеристик нормального закона и их вычисленного по результатам измерений
аналога. Кроме наиболее распространенной средней квадратической погрешности т
используют средние абсолютные v и вероятные (срединные) ошибки r. Между тремя ошибками т, V и r
для нормального закона распределения величин имеются теоретически строгие
соотношения

«Критерий ничтожных влияний»,
гласящий, что величина считается неизменной, если её вариация составляет не
более 11% от самой величины.

Для вычисления средней
абсолютной ошибки пользуются формулами:

Приближённые критерии на основе
коэффициентов

Не все абсолютные
отклонения между практическими и теоретическими значениями величин меньше
допустимых по критерию ничтожных погрешностей 0,3930. 138,0.7120. 163,0,2840.130.

Характеристики будут такими:

Проведём контроль:

Эксцесс — мера «крутости».

Проведем контроль:

Это говорит о том, что эмпирическое
распределение по отношению к теоретическому на допустимую величину скошено
вправо (отрицательное) и на допустимую величину выше нормального (положительное).

6-8) Графический критерий
исследования ряда погрешностей на соответствие нормальному закону распределения

Для дальнейших исследований
погрешностей на соответствие их нормальному закону распределения строят для
ряда одно из его графических представлений, например, в виде гистограммы или
многоугольника распределения, с нанесенной поверх её теоретической кривой
закона Гаусса с параметрами О и m, называемой огивой. В данной работе предлагается использовать
гистограмму. Построение гистограммы начинают с разбиения ряда погрешностей на
интервалы. Число интервалов к зависит от точности измерений, количества
элементов в выборке и является в некотором смысле произвольным. Основное
требование к количеству и величине интервалов заключается в том, чтобы полученный
на их основе график был наглядным и правдоподобным. Длину интервала Q можно получить, например, используя
следующие формулы

если известно число интервалов к, и

В геодезии чаще всего в такого рода
исследованиях ряд делят на 12 интервалов, каждый из которых должен быть в 0.5 m.

Далее необходимо
подсчитать число n. элементов ряда,
принадлежащих j-му интервалу, и вычислить практические оценки неизвестных
вероятностей (частоты ) по формуле

Вертикальные
составляющие гистограммы, называемые высотами прямоугольников

На этом же графике необходимо
построить теоретическую кривую, соответствующую нормальному закону, которая
наилучшим образом сглаживает данное эмпирическое статистическое распределение.
Кривая строится на основе формулы плотности вероятности для закона Гаусса

Наиболее точный критерий
соответствия исследуемого ряда нормальному закону распределения получу,
используя критерий χ² Пирсона по формулам:

Здесь — теоретическая
вероятность попаданияслучайной величины в соответствующий интервал.

Таблица построения гистограммы
эмпирического закона распределения

При этом сумма элементов по
интервалам должна равняться общему количеству элементов в ряде; сумма частот
равняется единице в пределах ошибки округления; сумма высот прямоугольников
равняется 2/т. Выбрав масштабы по горизонтальной оси для величин интервалов
(например, 0.5т — 1 см), по вертикальной для высот прямоугольников (например,
0.05 от — высоты прямоугольника — 1 см), откладывают по соответствующим
границам вертикальные высоты, которые замыкаются в прямоугольники. Полученный
график и будет называться гистограммой (эмпирическим представлением плотности
закона распределения), площадь которого равна единице

) На этом же графике необходимо
построить теоретическую кривую, соответствующую нормальному закону, которая
наилучшим образом сглаживает (выравнивает) данное эмпирическое статистическое
распределение. Кривая строится на основе формулы плотности вероятности для
закона Гаусса

Обычно величина t изменяется от -3 до 3 через 0.5,
так что вычисления не представляют трудности. Необходимо учитывать, что функция
симметричная, т.е. f(x)= — f(x) Значения функции с m = 1 приведены в любых книгах по статистике или обработке
измерений в виде таблиц и также могут быть использованы при вычислениях.

Значения теоретической функции
плотности на границах интервалов будут равны:

По вычисленным данным строят график
на гистограмме

10) Наиболее точный
критерий соответствия исследуемого ряда нормальному закону распределения
получим используя критерий -Пирсона.

Следует иметь в виду,
что все критерии соответствия являются частными случаями общего алгоритма
статистической проверки гипотез, в основе которой лежат следующие пункты:

) выдвижение с
доверительной вероятностью исходной гипотезы;

) получение
теоретического значения критерия;

) сравнение двух
значений критериев и вывод.

Предположим, что с
вероятностью  ряд ошибок распределен
нормально. Из статистических таблиц распределения -Пирсона по числу
степеней свободы  находим эталонное
значение .

На основании проведенных
исследований установлено, что рад является случайным, оценка математического
ожидания в виде среднего арифметического не превосходит утроенной средней
квадратической ошибки, то есть практически равна нулю. Количество положительных
элементов (23) равно количеству отрицательных (27).

В результате вычисления
критерия Аббе и сравнения практических и теоретических значений выявлено, что в
ряду отсутствуют значимые систематические влияния с вероятностью и с этой же вероятностью
крайние значения вариационного ряда не являются грубыми.

Приближённые критерии
соответствия нормальному закону, учитывающие расхождения между теоретическими и
практическими значениями соотношениями между тремя видами ошибок: средней
квадратической, средней абсолютной и вероятной, показывают, что ряд
соответствует нормальному закону. Значениями асимметрии и эксцесса можно
пренебречь.

Визуальный анализ
гистограммы (эмпирическое распределение) и огивы (вид теоретического закона
распределения) показывает недостаточное согласование по форме и величине между
ними, что говорит о недостаточном соответствии нормальному закону
распределения.

Наиболее точные
результаты соответствия исследуемого ряда нормальному закону дает критерий c² Пирсона, который учитывает расхождение между практическими и
теоретическими частотами по всем выделенным интервалам.

Таким образом, выполненные
исследования ряда ошибок на соответствие нормальному закону распределения дают
по всем использованным критериям положительные результаты, что позволяет
сделать вывод о достаточной близости ряда предполагаемому закону. И сделать
вывод, что мой ряд достаточно хорошо подчиняется нормальному закону
распределения.

погрешность распределение закон
статистический

Содержание:

Нормальный закон распределения:

Нормальный закон распределения имеет плотность вероятности

где

График функции плотности вероятности (2.9.1) имеет максимум в точке а точки перегиба отстоят от точки на расстояние При функция (2.9.1) асимптотически приближается к нулю (ее график изображен на рис. 2.9.1).

Помимо геометрического смысла, параметры нормального закона распределения имеют и вероятностный смысл. Параметр равен математическому ожиданию нормально распределенной случайной величины, а дисперсия Если т.е. X имеет нормальный закон распределения с параметрами и то 

где – функция Лапласа

Значения функции можно найти по таблице (см. прил., табл. П2). Функция Лапласа нечетна, т.е. Поэтому ее таблица дана только для неотрицательных График функции Лапласа изображен на рис. 2.9.2. При значениях  она практически остается постоянной. Поэтому в таблице даны значения функции только для При значениях можно считать, что

Если то

Пример:

Случайная величина X имеет нормальный закон распределения Известно, что а  Найти значения параметров и

Решение. Воспользуемся формулой (2.9.2):

Так как  По таблице функции Лапласа (см. прил., табл. П2) находим, что   Поэтому или

Аналогично  Так как то По таблице функции Лапласа (см. прил., табл. П2) находим, что Поэтому или Из системы двух уравнений и находим, что а   т.е. Итак, случайная величина X имеет нормальный закон распределения N(3;4).

График функции плотности вероятности этого закона распределения изображен на рис. 2.9.3.

Ответ.

Пример:

Ошибка измерения X имеет нормальный закон распределения, причем систематическая ошибка равна 1 мк, а дисперсия ошибки равна 4 мк². Какова вероятность того, что в трех независимых измерениях ошибка ни разу не превзойдет по модулю 2 мк?

Решение. По условиям задачи Вычислим сначала вероятность того, что в одном измерении ошибка не превзойдет 2 мк. По формуле (2.9.2)

Вычисленная вероятность численно равна заштрихованной площади на рис. 2.9.4.

Каждое измерение можно рассматривать как независимый опыт. Поэтому по формуле Бернулли (2.6.1) вероятность того, что в трех независимых измерениях ошибка ни разу не превзойдет 2 мк, равна

Ответ. 

Пример:

Функция плотности вероятности случайной величины X имеет вид

Требуется определить коэффициент найти и определить тип закона распределения, нарисовать график функции вычислить вероятность

Замечание. Если каждый закон распределения из некоторого семейства законов распределения имеет функцию распределения , где – фиксированная функция распределения, a  то говорят, что эти законы распределения принадлежат к одному виду или типу распределений. Параметр называют параметром сдвига, – параметром масштаба.

Решение. Так как (2.9.4) функция плотности вероятности, то интеграл от нее по всей числовой оси должен быть равен единице:

Преобразуем выражение в показателе степени, выделяя полный квадрат:

Тогда (2.9.5) можно записать в виде

Сделаем замену переменных так, чтобы  т.е. Пределы интегрирования при этом останутся прежними. Тогда (2.9.6) преобразуется к виду

Умножим и разделим левую часть равенства на Получим равенство 

Так как   как интеграл по всей числовой оси от функции плотности вероятности стандартного нормального закона распределения N(0,1), то приходим к выводу, что

Поэтому

Последняя запись означает, что случайная величина имеет нормальный закон распределения с параметрами и График функции плотности вероятности этого закона изображен на рис. 2.9.5. Распределение случайной величины X принадлежит к семейству нормальных законов распределения. По формуле (2.9.2)

Ответ. 

Пример:

Цех на заводе выпускает транзисторы с емкостью коллекторного перехода  Сколько транзисторов попадет в группу  если в нее попадают транзисторы с емкостью коллекторного перехода от 1,80 до 2,00 пФ. Цех выпустил партию в 1000 штук.

Решение.

Статистическими исследованиями в цеху установлено, что  можно трактовать как случайную величину, подчиняющуюся нормальному закону.

Чтобы вычислить количество транзисторов, попадающих в группу  необходимо учитывать, что вся партия транзисторов имеет разброс параметров, накрывающий всю (условно говоря) числовую ось. То есть кривая Гаусса охватывает всю числовую ось, центр ее совпадает с  (т. к. все установки в цеху настроены на выпуск транзисторов именно с этой емкостью). Вероятность попадания отклонений параметров всех транзисторов на всю числовую ось равна 1. Поэтому нам необходимо фактически определить вероятность попадания случайной величины  в интервал  а затем пересчитать количество пропорциональной вероятности.

Для расчета этой вероятности надо построить математическую модель. Экспериментальные данные говорят о том, что нормальное распределение можно принять в качестве математической модели. Эмпирическая оценка (установлена статистическими исследованиями в цеху) среднего значения 

дает  оценка среднего квадратического отклонения 

Обозначая  подставим приведенные значения в (6.3):

Тогда количество транзисторов  попавших в интервал [1,8; 2,0] пФ, можно найти так:  Таким образом можно планировать и рассчитывать количество транзисторов, попадающих в ту или иную группу.

Нормальное распределение и его свойства

Если выйти на улицу любого города и случайным образом выбранных прохожих спросить о том, какой у них рост, вес, возраст, доход, и т.п., а потом построить график любой из этих величин, например, роста… Но не будем спешить, сначала посмотрим, как можно построить такой график.

Сначала, мы просто запишем результаты своего исследования. Потом, мы отсортируем всех людей по группам, так чтобы каждый попал в свой диапазон роста, например, «от 180 до 181 включительно».

После этого мы должны посчитать количество людей в каждой подгруппе-диапазоне, это будет частота попадания роста жителей города в данный диапазон. Обычно эту часть удобно оформить в виде таблички. Если затем эти частоты построить по оси у, а диапазоны отложить по оси х, можно получить так называемую гистограмму, упорядоченный набор столбиков, ширина которых равна, в данном случае, одному сантиметру, а длина будет равна той частоте, которая соответствует каждому диапазону роста. Если

Вам попалось достаточно много жителей, то Ваша схема будет выглядеть примерно так:

Дальше можно уточнить задачу. Каждый диапазон разбить на десять, жителей рассортировать по росту с точностью до миллиметра. Диаграмма станет глаже, но уменьшится по высоте, «оплывет» вниз, т.к. в каждом маленьком диапазоне количество жителей уменьшается. Чтобы избежать этого, просто увеличим масштаб по вертикальной оси в 10 раз. Если гипотетически повторить эту процедуру несколько раз, будет вырисовываться та знаменитая колоколообразная фигура, которая характерна для нормального (или Гауссова) распределения. В результате, относительная частота встречаемости каждого конкретного диапазона роста может быть посчитана как отношение площади «ломтика» кривой, приходящегося на этот диапазон к площади подо всей кривой. Стандартизированные кривые нормального распределения, значения функций которых приводятся в таблицах книг по статистике, всегда имеют суммарную площадь под кривой равную единице. Это связано с тем, что, как Вы помните из курса теории вероятности, вероятность достоверного события всегда равна 100% (или единице), а для любого человека иметь хоть какое-то значение роста — достоверное событие. А вот вероятность того, что рост произвольного человека попадет в определенный выбранный нами диапазон, будет зависеть от трех факторов.

Во-первых, от величины такого диапазона — чем точнее наши требования, тем меньше вероятности, что нам повезет.

Во-вторых, от того, насколько «популярен» выбранный нами рост. Напомним, что мода — самое часто встречающееся значение роста. Кстати для нормального распределения мода, медиана и среднее значение совпадают. Кривая нормального распределения симметрична относительно среднего значения.

И, в-третьих, вероятность попадания роста в определенный диапазон зависит от характеристики рассеивания случайной величины. Отчасти это связано с единицами измерения (представьте, что мы бы измеряли людей в дюймах, а не в миллиметрах, но сами люди и их рост были бы теми же). Но дело не только в этом. Просто некоторые процессы кучнее группируются возле среднего значения, в то время как другие более разбросаны.

Например, рост собак и рост домашних кошек имеют разный разброс значений, их кривые нормального распределения будут выглядеть по-разному (напомним еще раз, что площадь под обеими кривыми будет единичной).

Так, кривая для роста кошек будет более узкой и высокой, а для роста собак кривая будет ниже и шире. Для характеристики разброса конечного ряда данных в прошлом разделе мы использовали величину среднего квадратического отклонения. Аналогичная величина используется для характеристики кривой нормального распределения. Она обозначается буквой s и называется в этом случае стандартным отклонением. Это очень важная величина для кривой нормального распределения. Кривая нормального распределения полностью задана, если известно среднее значение и отклонение s. Кроме того, любой житель города с вероятностью 68% попадет в диапазон роста с вероятностью 95% — в диапазон и с вероятностью 99,7% — в диапазон

Для вычисления других значений вероятности, которые могут Вам понадобиться, можно воспользоваться приведенной таблицей:

Таблица вероятности попадания случайной величины в отмеченный (заштрихованный) диапазон

Нормальный закон распределения

Нормальный закон распределения случайных величин, который иногда называют законом Гаусса или законом ошибок, занимает особое положение в теории вероятностей, так как 95 % изученных случайных величин подчиняются этому закону. Природа этих случайных величин такова, что их значение в проводимом эксперименте связано с проявлением огромного числа взаимно независимых случайных факторов, действие каждого из которых составляет малую долю их совокупного действия. Например, длина детали, изготавливаемой на станке с программным управлением, зависит от случайных колебаний резца в момент отрезания, от веса и толщины детали, ее формы и температуры, а также от других случайных факторов. По нормальному закону распределения изменяются рост и вес мужчин и женщин, дальность выстрела из орудия, ошибки различных измерений и другие случайные величины.

Определение: Случайная величина X называется нормальной, если она подчиняется нормальному закону распределения, т.е. ее плотность распределения задается формулой — средне-квадратичное отклонение, a m = М[Х] — математическое ожидание.

Приведенная дифференциальная функция распределения удовлетворяет всем свойствам плотности вероятности, проверим, например, свойство 4.:

Выясним геометрический смысл параметров Зафиксируем параметр и будем изменять параметр m. Построим графики соответствующих кривых (Рис. 8).

Рис. 8. Изменение графика плотности вероятности в зависимости от изменения математического ожидания при фиксированном значении средне-квадратичного отклонения. Из рисунка видно, кривая получается путем смещения кривой вдоль оси абсцисс на величину m, поэтому параметр m определяет центр тяжести данного распределения. Кроме того, из рисунка видно, что функция достигает своего максимального значения в точке Из этой формулы видно, что при уменьшении параметра значение максимума возрастает. Так как площадь под кривой плотности распределения всегда равна 1, то с уменьшением параметра кривая вытягивается вдоль оси ординат, а с увеличением параметра кривая прижимается к оси абсцисс. Построим график нормальной плотности распределения при m = 0 и разных значениях параметра (Рис. 9):

Рис. 9. Изменение графика плотности вероятности в зависимости от изменения средне-квадратичного отклонения при фиксированном значении математического ожидания.

Интегральная функция нормального распределения имеет вид:

График функции распределения имеет вид (Рис. 10):

Рис. 10. Графика интегральной функции распределения нормальной случайной величины.

Вероятность попадания нормальной случайной величины в заданный интервал

Пусть требуется определить вероятность того, что нормальная случайная величина попадает в интервал Согласно определению пересчитаем пределы интегрирования Следовательно,

Рассмотрим основные свойства функции Лапласа Ф(х):

1. Ф(0) = 0 — график функции Лапласа проходит через начало координат.
2. Ф (-х) = — Ф(х) — функция Лапласа является нечетной функцией, поэтому
3. таблицы для функции Лапласа приведены только для неотрицательных значений аргумента.
4. — график функции Лапласа имеет горизонтальные асимптоты

Следовательно, график функции Лапласа имеет вид (Рис. 11):

Рис. 11. График функции Лапласа.

Пример №1

Закон распределения нормальной случайной величины X имеет вид: Определить вероятность попадания случайной величины X в интервал (-1;8).

Решение:

Согласно условиям задачи Поэтому искомая вероятность равна: 0,4772 + 0,3413 = 0,8185.

Вычисление вероятности заданного отклонения

Вычисление вероятности заданного отклонения. Правило .

Если интервал, в который попадает нормальная случайная величина X, симметричен относительно математического ожидания то, используя свойство нечетности функции Лапласа, получим

Данная формула показывает, что отклонение случайной величины Х от ее математического ожидания на заданную величину l равна удвоенному значению функции Лапласа от отношения / к среднему квадратичному отклонению. Если положить случаях нормальная случайная величина X отличается от своего математического ожидания на величину равную среднему квадратичному отклонению. Если то вероятность отклонения равна Наконец, в случае то вероятность отклонения равна

Из последнего равенства видно, что только приблизительно в 0.3 % случаях отклонение нормальной случайной величины X от своего математического ожидания превышает Это свойство нормальной случайной величины X называется правилом “трех сигм”. На практике это правило применяется следующим образом: если отклонение случайной величины X от своего математического ожидания не превышает то эта случайная величина распределена по нормальному закону.

Показательный закон распределения

Определение: Закон распределения, определяемый фу нкцией распределения:

называется экспоненциальным или показательным.

График экспоненциального закона распределения имеет вид (Рис. 12):

Рис. 12. График функции распределения для случая экспоненциального закона.

Дифференциальная функция распределения (плотность вероятности) имеет вид: а ее график показан на (Рис. 13):

Рис. 13. График плотности вероятности для случая экспоненциального закона.

Пример №2

Случайная величина X подчиняется дифференциальной функции распределения Найти вероятность того, что случайная величина X попадет в интервал (2; 4), математическое ожидание M[Х], дисперсию D[X] и среднее квадратичное отклонение Проверить выполнение правила “трех сигм” для показательного распределения.

Решение:

Интегральная функция распределения следовательно, вероятность того, что случайная величина X попадет в интервал (2; 4), равна: Математическое ожидание Вычислим значение величины М тогда дисперсия случайной величины X равна а средне-квадратичное

отклонение Для проверки правила “трех сигм” вычислим вероятность заданного отклонения:

Макеты страниц

Пост №2 для начинающих посвящен описательным статистикам, группированию данных и нормальному распределению. Все эти сведения заложат основу для дальнейшего анализа электоральных данных. Предыдущий пост см. здесь.

Описательные статистики

Описательные статистические величины, или статистики, — это числа, которые используются для обобщения и описания данных. В целях демонстрации того, что мы имеем в виду, посмотрим на столбец с данными об электорате Electorate. Он показывает суммарное число зарегистрированных избирателей в каждом избирательном округе:

def ex_1_6():
    '''Число значений в поле "Электорат"'''
    return load_uk_scrubbed()['Electorate'].count()

650

Мы уже очистили столбец, отфильтровав пустые значения (nan) из набора данных, и поэтому предыдущий пример должен вернуть суммарное число избирательных округов.

Описательные статистики, так называемые сводные статистики, представляют собой разные подходы к измерению свойств последовательностей чисел. Они помогают охарактеризовать последовательность и способны выступать в качестве ориентира для дальнейшего анализа. Начнем с двух самых базовых статистик, которые мы можем вычислить из последовательности чисел — ее среднее значение и дисперсию (варианс).

• Среднее значение

Наиболее распространенный способ усреднить набор данных — взять его среднее значение. Среднее значение на самом деле представляет собой один из нескольких способов измерения центра распределения данных.

Среднее значение числового ряда вычисляется на Python следующим образом:

def mean(xs): 
    '''Среднее значение числового ряда'''
    return sum(xs) / len(xs) 

Мы можем воспользоваться нашей новой функцией mean для вычисления среднего числа избирателей в Великобритании:

def ex_1_7():
    '''Вернуть среднее значение поля "Электорат"'''
    return mean( load_uk_scrubbed()['Electorate'] )

70149.94

На самом деле, библиотека pandas уже содержит функцию mean, которая гораздо эффективнее вычисляет среднее значение последовательности. В нашем случае ее можно применить следующим образом:

load_uk_scrubbed()['Electorate'].mean()

• Медиана

Медиана — это еще одна распространенная описательная статистика для измерения центра распределения последовательности. Если Вы упорядочили все данные от меньшего до наибольшего, то медиана — это значение, которое находится ровно по середине. Если в последовательности число точек данных четное, то медиана определяется, как полусумма двух срединных значений.

def median(xs):
    '''Медиана числового ряда'''
    n = len(xs)
    mid = n // 2
    if n % 2 == 1:
        return sorted(xs)[mid]
    else:
        return mean( sorted(xs)[mid-1:][:2] )

Медианное значение электората Великобритании составляет:

def ex_1_8():
    '''Вернуть медиану поля "Электорат"'''
    return median( load_uk_scrubbed()['Electorate'] )

70813.5

Библиотека pandas тоже располагает встроенной функцией для вычисления медианного значения, которая так и называется median.

• Дисперсия

Среднее арифметическое и медиана являются двумя альтернативными способами описания среднего значения последовательности, но сами по себе они мало что говорят о содержащихся в ней значениях. Например, если известно, что среднее последовательности из девяноста девяти значений равно 50, то мы почти ничего не скажем о том, какого рода значения последовательность содержит.

Она может содержать целые числа от одного до девяноста девяти либо сорок девять нулей и пятьдесят девяносто девяток, а может быть и так, что она девяносто восемь раз содержит отрицательную единицу и одно число 5048, или же вообще все значения могут быть равны 50.

Дисперсия (варианс) последовательности чисел показывает «разброс» данных вокруг среднего значения. К примеру, данные, приведенные выше, имели бы разную дисперсию. На языке математики дисперсия обозначается следующим образом:

где s²  — это математический символ, который часто используют для обозначения дисперсии.

Выражение

def variance(xs):
    '''Дисперсия (варианс) числового ряда,
       несмещенная дисперсия при n <= 30'''
    mu = mean(xs)
    n = len(xs)
    n = n-1 if n in range(1, 30) else n  
    square_deviation = lambda x : (x - mu) ** 2 
    return sum( map(square_deviation, xs) ) / n

Для вычисления квадрата выражения используется оператор языка Python возведения в степень **.

• Стандартное отклонение

Поскольку мы взяли средний квадрат отклонения, т.е. получили квадрат отклонения и затем его среднее, то единицы измерения дисперсии (варианса) тоже будут в квадрате, т.е. дисперсия электората Великобритании будет измеряться «людьми в квадрате». Несколько неестественно рассуждать об избирателях в таком виде. Единицу измерения можно привести к более естественному виду, снова обозначающему «людей», путем извлечения квадратного корня из дисперсии (варианса). В результате получим так называемое стандартное отклонение, или среднеквадратичное отклонение:

def standard_deviation(xs):
    '''Стандартное отклонение числового ряда'''
    return sp.sqrt( variance(xs) )
       
def ex_1_9():
    '''Стандартное отклонение поля "Электорат"'''
    return standard_deviation( load_uk_scrubbed()['Electorate'] )

7672.77

В библиотеке pandas функции для вычисления дисперсии (варианса) и стандартного отклонения имплементированы соответственно, как var и std. При этом последняя по умолчанию вычисляет несмещенное значение, поэтому, чтобы получить тот же самый результат, нужно применить именованный аргумент ddof=0, который сообщает, что требуется вычислить смещенное значение стандартного отклонения:

load_uk_scrubbed()['Electorate'].std( ddof=0 )

• Квантили

Медиана представляет собой один из способов вычислить срединное значение из списка, т.е. находящееся ровно по середине, дисперсия же предоставляет способ измерить разброс данных вокруг среднего значения. Если весь разброс данных представить на шкале от 0 до 1, то значение 0.5 будет медианным.

Для примера рассмотрим следующую ниже последовательность чисел:

[10 11 15 21 22.5 28 30]

Отсортированная последовательность состоит из семи чисел, поэтому медианой является число 21 четвертое в ряду. Его также называют 0.5-квантилем. Мы можем получить более полную картину последовательности чисел, взглянув на 0.0 (нулевой), 0.25, 0.5, 0.75 и 1.0 квантили. Все вместе эти цифры не только показывают медиану, но также обобщают диапазон данных и сообщат о характере распределения чисел внутри него. Они иногда упоминаются в связи с пятичисловой сводкой.

Один из способов составления пятичисловой сводки для данных об электорате Великобритании показан ниже. Квантили можно вычислить непосредственно в pandas при помощи функции quantile. Последовательность требующихся квантилей передается в виде списка.

def ex_1_10():
    '''Вычислить квантили:
       возвращает значение в последовательности xs, 
       соответствующее p-ому проценту'''
    q = [0, 1/4, 1/2, 3/4, 1]
    return load_uk_scrubbed()['Electorate'].quantile(q=q)

0.00     21780.00
0.25     65929.25
0.50     70813.50
0.75     74948.50
1.00    109922.00
Name: Electorate, dtype: float64

Когда квантили делят диапазон на четыре равных диапазона, как показано выше, то они называются квартилями. Разница между нижним (0.25) и верхним (0.75) квартилями называется межквартильным размахом, или иногда сокращенно МКР. Аналогично дисперсии (варианса) вокруг среднего значения, межквартильный размах измеряет разброс данных вокруг медианы.

Группирование данных в корзины

В целях развития интуитивного понимания в отношении того, что именно все эти расчеты разброса значений измеряют, мы можем применить метод под названием группировка в частотные корзины (binning). Когда данные имеют непрерывный характер, использование специального словаря для подсчета частот Counter (подобно тому, как он использовался при подсчете количества пустых значений в наборе данных об электорате) становится нецелесообразным, поскольку никакие два значения не могут быть одинаковыми. Между тем, общее представление о структуре данных можно все-равно получить, сгруппировав для этого данные в частотные корзины (bins).

Процедура образования корзин заключается в разбиении диапазона значений на ряд последовательных, равноразмерных и меньших интервалов. Каждое значение в исходном ряду попадает строго в одну корзину. Подсчитав количества точек, попадающих в каждую корзину, мы можем получить представление о разбросе данных:

На приведенном выше рисунке показано 15 значений x, разбитых на 5 равноразмерных корзин. Подсчитав количество точек, попадающих в каждую корзину, мы можем четко увидеть, что большинство точек попадают в корзину по середине, а меньшинство — в корзины по краям. Следующая ниже функция Python nbin позволяет добиться того же самого результата:

def nbin(n, xs): 
    '''Разбивка данных на частотные корзины'''
    min_x, max_x = min(xs), max(xs)
    range_x = max_x - min_x
    fn = lambda x: min( int((abs(x) - min_x) / range_x * n), n-1 )
    return map(fn, xs)

Например, мы можем разбить диапазон 0-14 на 5 корзин следующим образом:

list( nbin(5, range(15)) )

[0, 0, 0, 1, 1, 1, 2, 2, 2, 3, 3, 3, 4, 4, 4]

После того, как мы разбили значения на корзины, мы можем в очередной раз воспользоваться словарем Counter, чтобы подсчитать количество точек в каждой корзине. В следующем ниже примере мы воспользуемся этим словарем для разбиения данных об электорате Великобритании на пять корзин:

def ex_1_11():
    '''Разбиmь электорат Великобритании на 5 корзин'''
    series = load_uk_scrubbed()['Electorate']
    return Counter( nbin(5, series) )

Counter({2: 450, 3: 171, 1: 26, 0: 2, 4: 1})

Количество точек в крайних корзинах (0 и 4) значительно ниже, чем в корзинах в середине — количества, судя по всему, растут по направлению к медиане, а затем снова снижаются. В следующем разделе мы займемся визуализацией формы этих количеств.

Гистограммы

Гистограмма — это один из способов визуализации распределения одной последовательности значений. Гистограммы попросту берут непрерывное распределение, разбивают его на корзины, и изображают частоты точек, попадающих в каждую корзину, в виде столбцов. Высота каждого столбца гистограммы показывает количество точек данных, которые содержатся в этой корзине.

Мы уже увидели, каким образом можно выполнить разбиение данных на корзины самостоятельно, однако в библиотеке pandas уже содержится функция hist, которая разбивает данные и визуализирует их в виде гистограммы.

def ex_1_12():
    '''Построить гистограмму частотных корзин 
       электората Великобритании'''
    load_uk_scrubbed()['Electorate'].hist()
    plt.xlabel('Электорат Великобритании')
    plt.ylabel('Частота')
    plt.show()

Приведенный выше пример сгенерирует следующий ниже график:

Число корзин, на которые данные разбиваются, можно сконфигурировать, передав в функцию при построении гистограммы именованный аргумент bins:

def ex_1_13():
    '''Построить гистограмму частотных корзин 
       электората Великобритании с 200 корзинами'''
    load_uk_scrubbed()['Electorate'].hist(bins=200)
    plt.xlabel('Электорат Великобритании')
    plt.ylabel('Частота')
    plt.show()

Приведенный выше график показывает единственный высокий пик, однако он выражает форму данных довольно грубо. Следующий ниже график показывает мелкие детали, но величина столбцов делает неясной форму распределения, в особенности в хвостах:

При выборе количества корзин для представления данных следует найти точку равновесия — с малым количеством корзин форма данных будет представлена лишь приблизительно, а слишком большое их число приведет к тому, что шумовые признаки могут заслонить лежащую в основании структуру.

def ex_1_14():
    '''Построить гистограмму частотных корзин 
       электората Великобритании с 20 корзинами'''
    load_uk_scrubbed()['Electorate'].hist(bins=20)
    plt.xlabel('Электорат Великобритании')
    plt.ylabel('Частота')
    plt.show()

Ниже показана гистограмма теперь уже из 20 корзин:

Окончательный график, состоящий из 20 корзин, судя по всему, пока лучше всего представляет эти данные.

Наряду со средним значением и медианой, есть еще один способ измерить среднюю величину последовательности. Это мода. Мода — это значение, встречающееся в последовательности наиболее часто. Она определена исключительно только для последовательностей, имеющих по меньшей мере одно дублирующее значение; во многих статистических распределениях это не так, и поэтому для них мода не определена. Тем не менее, пик гистограммы часто называют модой, поскольку он соответствует наиболее распространенной корзине.

Из графика ясно видно, что распределение вполне симметрично относительно моды, и его значения резко падают по обе стороны от нее вдоль тонких хвостов. Эти данные приближенно подчиняются нормальному распределению.

Нормальное распределение

Гистограмма дает приблизительное представление о том, каким образом данные распределены по всему диапазону, и является визуальным средством, которое позволяет квалифицировать данные как относящиеся к одному из немногих популярных распределений. В анализе данных многие распределения встречаются часто, но ни одно не встречается также часто, как нормальное распределение, именуемое также гауссовым распределением.

^{Распределение названо нормальным распределением из-за того, что оно очень часто встречается в природе. Галилей заметил, что ошибки в его астрономических измерениях подчинялись распределению, где малые отклонения от среднего значения встречались чаще, чем большие. Вклад великого математика Гаусса в описание математической формы этих ошибок привел к тому, что это распределение стали называть в его честь распределением Гаусса.}

Любое распределение похоже на алгоритм сжатия: оно позволяет очень эффективно резюмировать потенциально большой объем данных. Нормальное распределение требует только два параметра, исходя из которых можно аппроксимировать остальные данные. Это среднее значение и стандартное отклонение.

Центральная предельная теорема

Высокая встречаемость нормального распределения отчасти объясняется центральной предельной теоремой. Дело в том, что значения, полученные из разнообразных статистических распределений, при определенных обстоятельствах имеют тенденцию сходиться к нормальному распределению, и мы это покажем далее.

В программировании типичным распределением является равномерное распределение. Оно представлено распределением чисел, генерируемых функцией библиотеки scipy stats.uniform.rvs: в справедливом генераторе случайных чисел все числа имеют равные шансы быть сгенерированными. Мы можем увидеть это на гистограмме, многократно генерируя серию случайных чисел между 0 и 1 и затем построив график с результатами.

def ex_1_15():
    '''Показать гистограмму равномерного распределения 
       синтетического набора данных'''
    xs = stats.uniform.rvs(0, 1, 10000)
    pd.Series(xs).hist(bins=20)
    plt.xlabel('Равномерное распределение')
    plt.ylabel('Частота')
    plt.show()

Обратите внимание, что в этом примере мы впервые использовали тип Series библиотеки pandas для числового ряда данных.

Приведенный выше пример создаст следующую гистограмму:

Каждый столбец гистограммы имеет примерно одинаковую высоту, что соответствует равновероятности генерирования числа, которое попадает в каждую корзину. Столбцы имеют не совсем одинаковую высоту, потому что равномерное распределение описывает теоретический результат, который наша случайная выборка не может отразить в точности. Раздел инференциальной статистики, посвященный проверке статистических гипотез, изучает способы точной количественной оценки расхождения между теорией и практикой, чтобы определить, являются ли расхождения достаточно большими, чтобы обратить на это внимание. В данном случае они таковыми не являются.

Если напротив сгенерировать гистограмму средних значений последовательностей чисел, то в результате получится распределение, которое выглядит совсем непохоже.

def bootstrap(xs, n, replace=True): 
    '''Вернуть список массивов меньших размеров 
       по n элементов каждый'''
    return np.random.choice(xs, (len(xs), n), replace=replace) 

def ex_1_16():
    '''Построить гистограмму средних значений'''
    xs = stats.uniform.rvs(loc=0, scale=1, size=10000)
    pd.Series( map(sp.mean, bootstrap(xs, 10)) ).hist(bins=20)
    plt.xlabel('Распределение средних значений') 
    plt.ylabel('Частота')
    plt.show()

Приведенный выше пример сгенерирует результат, аналогичный следующей ниже гистограмме:

Хотя величина среднего значения близкая к 0 или 1 не является невозможной, она является чрезвычайно невероятной и становится менее вероятной по мере роста числа усредненных чисел и числа выборочных средних. Фактически, на выходе получается результат очень близкий к нормальному распределению.

Этот результат, когда средний эффект множества мелких случайных колебаний в итоге приводит к нормальному распределению, называется центральной предельной теоремой, иногда сокращенно ЦПТ, и играет важную роль для объяснения, почему нормальное распределение встречается так часто в природных явлениях.

До 20-ого века самого термина еще не существовало, хотя этот эффект был зафиксирован еще в 1733 г. французским математиком Абрахамом де Mуавром, который использовал нормальное распределение, чтобы аппроксимировать число орлов в результате бросания уравновешенной монеты. Исход бросков монеты лучше всего моделировать при помощи биномиального распределения. В отличие от центральной предельной теоремы, которая позволяет получать выборки из приближенно нормального распределения, библиотека scipy содержит функции для эффективного генерирования выборок из самых разнообразных статистических распределений, включая нормальное:

def ex_1_17():
    '''Показать гистограмму нормального распределения 
       синтетического набора данных'''
    xs = stats.norm.rvs(loc=0, scale=1, size=10000)
    pd.Series(xs).hist(bins=20)
    plt.xlabel('Нормальное распределение')
    plt.ylabel('Частота')
    plt.show()

Отметим, что в функции sp.random.normal параметр loc – это среднее значение, scale – дисперсия и size – размер выборки. Приведенный выше пример сгенерирует следующую гистограмму нормального распределения:

По умолчанию среднее значение и стандартное отклонение для получения нормального распределения равны соответственно 0 и 1.

Примеры исходного кода для этого поста находятся в моем репо на Github. Все исходные данные взяты в репозитории автора книги.

Следующая часть, часть 3, серии постов «Python, исследование данных и выборы» посвящена генерированию распределений, их свойствам, а также графикам для их сопоставительного анализа