Стандартная ошибка или отклонение

Стандартное отклонение и стандартная ошибка: в чем разница?

Standard Error of the Mean vs. Standard Deviation: An Overview

Standard deviation (SD) measures the amount of variability, or dispersion, from the individual data values to the mean. SD is a frequently-cited statistic in many applications from math and statistics to finance and investing.

Standard error of the mean (SEM) measures how far the sample mean (average) of the data is likely to be from the true population mean. The SEM is always smaller than the SD.

Standard deviation and standard error are both used in statistical studies, including those in finance, medicine, biology, engineering, and psychology. In these studies, the SD and the estimated SEM are used to present the characteristics of sample data and explain statistical analysis results.

However, even some researchers occasionally confuse the SD and the SEM. Such researchers should remember that the calculations for SD and SEM include different statistical inferences, each of them with its own meaning. SD is the dispersion of individual data values. In other words, SD indicates how accurately the mean represents sample data.

However, the meaning of SEM includes statistical inference based on the sampling distribution. SEM is the SD of the theoretical distribution of the sample means (the sampling distribution).

Calculating SD and SEM

standard deviation 

σ

=

∑

i

=

1

n

(

x

i

−

x

ˉ

)

2

n

−

1

variance

=

σ

2

standard error 

(

σ

x

ˉ

)

=

σ

n

where:

x

ˉ

=

the sample’s mean

n

=

the sample size

\begin{aligned} &\text{standard deviation } \sigma = \sqrt{ \frac{ \sum_{i=1}^n{\left(x_i — \bar{x}\right)^2} }{n-1} } \\ &\text{variance} = {\sigma ^2 } \\ &\text{standard error }\left( \sigma_{\bar x} \right) = \frac{{\sigma }}{\sqrt{n}} \\ &\textbf{where:}\\ &\bar{x}=\text{the sample’s mean}\\ &n=\text{the sample size}\\ \end{aligned}

​standard deviation σ=n−1∑i=1n​(xi​−xˉ)2​​variance=σ2standard error (σxˉ​)=n​σ​where:xˉ=the sample’s meann=the sample size​

Standard Deviation

The formula for the SD requires a few steps:

1. First, take the square of the difference between each data point and the sample mean, finding the sum of those values.
2. Next, divide that sum by the sample size minus one, which is the variance.
3. Finally, take the square root of the variance to get the SD.

Standard Error of the Mean

SEM is calculated simply by taking the standard deviation and dividing it by the square root of the sample size.

Standard error gives the accuracy of a sample mean by measuring the sample-to-sample variability of the sample means. The SEM describes how precise the mean of the sample is as an estimate of the true mean of the population.

As the size of the sample data grows larger, the SEM decreases vs. the SD. As the sample size increases, the sample mean estimates the true mean of the population with greater precision.

Increasing the sample size does not make the SD necessarily larger or smaller; it just becomes a more accurate estimate of the population SD.

Standard Error and Standard Deviation in Finance

In finance, the SEM daily return of an asset measures the accuracy of the sample mean as an estimate of the long-run (persistent) mean daily return of the asset.

On the other hand, the SD of the return measures deviations of individual returns from the mean. Thus, SD is a measure of volatility and can be used as a risk measure for an investment.

Assets with greater day-to-day price movements have a higher SD than assets with lesser day-to-day movements. Assuming a normal distribution, around 68% of daily price changes are within one SD of the mean, with around 95% of daily price changes within two SDs of the mean.

The Bottom Line

Investors and analysts measure standard deviation as a way to estimate the potential volatility of a stock or other investment. It helps determine the level of risk to the investor that is involved. When reading an analyst’s report, the level of riskiness of an investment may be labeled «standard deviation.»

Standard error of the mean is an indication of the likely accuracy of a number. The larger the sample size, the more accurate the number should be.

Я читаю курс статистического мышления магистрам, и одна тема вызывает у них явные затруднения – чем стандартное отклонение отличается от стандартной ошибки, и в каких случаях, применять ту или иную статистику. А недавно в книге Искусство статистики Дэвида Шпигельхалтера я узнал про бутстрэппинг, и понял, как объяснить различия стандартного отклонения и стандартной ошибки.

Для начала зададим 100 значений стандартной нормально распределенной случайной величины. В этом контексте стандартная означает, что ее матожидание μ = 0, а среднеквадратичное отклонение σ = 1. Поскольку значения в Excel получены с помощью волатильной функции СЛМАССИВ(), после любого действия они пересчитываются. Поэтому диаграммы в заметке и в файле будут отличаться.

Рис. 1. Нормально распределенная случайная величина

Скачать заметку в формате Word или pdf, примеры в формате Excel

Стандартное отклонение

… является наиболее распространенным показателем рассеивания значений случайной величины относительно её среднего арифметического.

Стандартное отклонение вычисляют по формуле:

где X̅  – среднее арифметическое значений случайной величины (далее я буду называть его просто средним), Х_i – отдельные значения случайной величины, n – число значений случайной величины.

Вообще термины разными авторами используются немного по-разному. Мне нравится следующий подход. Генеральную совокупность описывают параметрами, обозначаемыми греческими буквами: математическое ожидание μ и среднеквадратичное отклонение σ. Выборки описывают статистиками, обозначаемыми латинскими буквами: среднее арифметическое X̅ и стандартное отклонение s. Стандартное отклонение иначе называют оценкой среднеквадратичного отклонения. Как правило, есть генеральная совокупность с неизвестным нам среднеквадратичным отклонением σ. Извлекая выборку, и вычисляя стандартное отклонение s, мы кое-что узнаем о среднеквадратичном отклонении генеральной совокупности σ. Поэтому и говорят, что s является оценкой сигмы.

На самом деле за термином стандартное отклонение стоят две немного отличающиеся статистики. Но эта заметка о другом)) Подробнее см. СТАНДОТКЛОН.В и СТАНДОТКЛОН.Г: в чем различие?

Нанесем на диаграмму линию среднего и границы, отстоящие от среднего на расстоянии ±2s.

Рис. 2. Линия среднего и границы ±2s

Для стандартного нормального распределения за границы ±2s попадают 4,6% значений.

=(1-НОРМ.СТ.РАСП(2;ИСТИНА))*2 = 4,6%

И действительно 5 точек на рис. 2 лежат вне границ. Совпадение не обязано быть таким точным. Если вы откроете файл Excel на листе «Рис. 2» и понажимаете F9, принудительно изменяя случайные значения, то увидите, что вне границ может лежать от 2 до 8 точек. А если нажимать F9 достаточно долго, то вы получите более экстремальные числа точек вне границ. Для стандартного нормального распределения в пределах ±2s лежат приблизительно 95% значений. Поскольку s – оценка среднеквадратичного отклонения σ, которое в свою очередь равно 1, то 95% всех значений попадают в диапазон ≈ ±2.

Чем меньше s, тем кучнее значения случайной величины располагаются вокруг среднего. Итак

стандартное отклонение – мера разброса случайной величины

Среднее арифметическое выборки

Напомню, что мы задаем наши 100 значений с помощью генератора случайных чисел формулой в Excel

=НОРМ.СТ.ОБР(СЛМАССИВ(100;;0;1;ЛОЖЬ))

Хотя мы установили для генератора случайных чисел μ = 0 и σ = 1, значения X̅ и s будут немного отличаться для каждой выборки.

Рис. 3. Среднее и стандартное отклонение для 15 выборок размером n = 100

Теперь мы хотим узнать, что можно сказать о неизвестном математическом ожидании генеральной совокупности μ, подсчитав среднее арифметическое конкретной выборки, например, первой X̅ = 0,119?

Бутстрэп

Как пишет Евгения Поникарова, переводчик книги Дэвида Шпигельхалтера «Искусство статистики», слово bootstraps означает ремешки в виде ушка, которые прикрепляются к верхней части обуви, чтобы ее было проще натягивать. В английском языке есть выражение To pull oneself over a fence by one’s bootstraps (буквально — перетащить себя через ограду за ушки своей обуви), которое означает «выпутаться из своих проблем самому». Еще можно вспомнить барона Мюнхгаузена, который вытащил себя за волосы из болота.

Бутстрэп – компьютерный метод исследования распределения статистик, основанный на многократной генерации выборок методом Монте-Карло на базе имеющейся одной выборки. Термин ввел в 1977 году Брэдли Эфрон.

Итак, возьмем одну выборку из 100 случайных чисел и зафиксируем значения. Это наша исходная выборка (столбец А на рис. 4). Её среднее X̅(100) = 0,121, а стандартное отклонение s(100) = 0,995. 95% значений попадают в диапазон ≈ 0,121 ± 1,990.

С помощью генератора случайных чисел будем формировать из исходной выборки бутстрэп-выборки разного размера. Хитрость заключается в том, что выбирать значения мы будем с возвращением. Т.е., все значения любой бутстрэп-выборки взяты из исходной, а вот уникальность значений будет потеряна. Например, выборка в столбце С содержит два значения 0,7394. Я подсветил их с помощью условного форматирования. Опять же, если вы откроете Excel-файл, то дублей может не быть, так как бутстрэп-выборка сформирована волатильной функцией СЛМАССИВ().

Рис. 4. Бутстрэп-выборка может содержать повторения

Для удобства последующей обработки расположим значения бутстрэп-выборки по горизонтали. Начнем со значения n = 3. Извлечем 1000 бутстрэп-выборок (рис. 5). В столбце А исходная выборка, n = 100. Столбец С содержит номер бутстрэп-выборки. В столбцах D, E и F извлеченные значения, в G – средние значения по выборкам. В ячейке G1 среднее D1:F1, в ячейке G2 – среднее D2:F2 и т.д. На диаграмме показано распределение средних значений бутстрэп-выборок для n = 3.

Рис. 5. Распределений средних значений 1000 бутстрэп-выборок, n = 3

Среднее средних 1000 бутстрэп-выборок = 0,115, стандартное отклонение средних значений 1000 бутстрэп-выборок = 0,560. Напоминаю, что 95% исходных значений выборки попадают в диапазон 0,12 ± 1,99. Для бутстрэп-выборок n = 3 мы только что нашли, что 95% средних попадают в диапазон 0,115 ± 1,120 (0,560*2 = 1,120). Кажется естественным, что разброс средних меньше, чем разброс отдельных значений.

Повторим моделирование для n = 5, 20, 50.

Рис. 6. С увеличением n стандартное отклонение средних значений бутстрэп-выборок уменьшается

Осмыслим, что мы получили. На рис. 6 представлены распределения средних значений бутстрэп-выборок разного размера из исходной выборки 100 случайных нормально распределенных чисел. Среднее каждого распределения близко к нулю (в нашей конкретной выборке из 100 чисел это среднее равно 0,121). А вот стандартное отклонение s(n) уменьшается по мере роста размера бутстрэп-выборок: s(3) = 0,560, s(5) = 0,439, s(20) = 0,217, s(50) = 0,135.

Стандартна ошибка

…или стандартная ошибка среднего – статистика, характеризующая стандартное отклонение выборочного среднего, рассчитанное по выборке размера n из генеральной совокупности.

Ничего не напоминает!? А что за статистику s(n) мы рассчитали выше в бутстрэп-анализе!? Да, это было стандартное отклонение выборочного среднего X̅(n).

Величина стандартной ошибки зависит от дисперсии генеральной совокупности σ² и объёма выборки n. Стандартная ошибка среднего вычисляется по формуле

где σ – величина среднеквадратического отклонения генеральной совокупности, и n – объём выборки. Поскольку дисперсия генеральной совокупности, как правило, неизвестна, то оценка стандартной ошибки вычисляется по формуле:

где s — стандартное отклонение случайной величины.

Сведем в одной таблице рассмотренные статистики:

Рис. 7. Рассмотренные статистики

Здесь в столбцах J:L приведены статистики для одной выборки размера n, а в столбце M – статистики для бутстрэп-выборок соответствующего размера с рис. 6. Если в Excel-файле на листе «Рис. 7» понажимать F9, вы увидите, что не всегда совпадение между столбцами L и M будет таким хорошим, но тенденция будет прослеживаться.

Выше я писал, что мы исследуем неизвестное математическое ожидание генеральной совокупности μ на основе среднего арифметического выборки X̅(100) = 0,119.

Мы можем использовать статистику, именуемую стандартной ошибкой. Для нас она черный ящик – формула, выведенная на основе теории вероятностей. С другой стороны мы можем построить множество бутстрэп-выборок размера n = 100, и подсчитать стандартное отклонение средних этих бутстрэп-выборок. И мы показали, что стандартная ошибка для одной выборки и стандартное отклонение средних бутстрэп-выборок, это одно и то же! В нашем примере, получив X̅(100) = 0,119, мы можем сказать, что с вероятностью 95% математическое ожидание генеральной совокупности μ лежит в диапазоне 0,119 ± 0,212 (0,106*2=0,212). Итак

стандартная ошибка – мера оценки математического ожидания генеральной совокупности μ на основании статистик выборки

Например, 95%-ный доверительный интервал для μ

Понятно, что с увеличением размера выборки n доверительный интервал будет сужаться. В пределе при n → ∞, X̅ → μ и SE → 0.

Термин «статистика» означает практику анализа и сбора числовых данных, которые предоставляются в больших количествах. Существует несколько статистических исследований, некоторые из которых относятся к биологии, финансам, психологии, технике и многим другим.

Статистические исследования полезны для сбора и анализа любых данных в числовой форме. 

Стандартное отклонение и стандартная ошибка являются двумя наиболее распространенными показателями, которые используются в области статистики. Основной мотив стандартного отклонения и стандартной ошибки — показать результаты статистического анализа и характеристики выборочных данных.

Стандартное отклонение и стандартная ошибка немного сбивают с толку, но они отличаются друг от друга во многих терминах. 

Основные выводы

1. Стандартное отклонение измеряет разброс точек данных вокруг среднего значения, а стандартная ошибка оценивает изменчивость среднего значения выборки.
2. Чем больше размер выборки, тем меньше стандартная ошибка, но размер выборки не влияет на стандартное отклонение.
3. Стандартное отклонение подходит для анализа отдельных точек данных, а стандартная ошибка используется для оценки точности выборочных средних.

Стандартное отклонение против стандартной ошибки 

Разница между стандартным отклонением и стандартной ошибкой заключается в том, что они оба различаются по своим статистическим помехам. Стандартное отклонение помогает рассредоточить отдельные значения данных. Он показывает точность среднего значения, которое представляет выборочные данные. Напротив, стандартная ошибка основана на статистических помехах данных выборки.  

В статистике стандартное отклонение выражает количество членов определенной группы, которое отличается от значения среднего значения той же группы. Карл Пирсон был первым, кто использовал стандартное отклонение в письменной форме для своих лекций.

Этот термин был впервые использован в 1894 году. Термин «стандартное отклонение» использовался для замены альтернативных названий, использовавшихся ранее для тех же идей. 

В статистике стандартная ошибка называется приблизительным стандартным отклонением, которое включается в совокупность статистической выборки. Вариация, включенная в стандартную ошибку, находится между средним значением, которое рассчитывается на основе совокупности, и другим точным значением, которое принято.

Если расчет среднего включает больше точек данных, то стандартная ошибка будет меньше. 

Сравнительная таблица

Параметры сравнения	Стандартное отклонение	Стандартная ошибка
Смысл	Мера дисперсии от среднего по набору данных.	Мера оценки посредством ее статистической точности.
Обозначает изменчивость	В пределах выборки.	В популяции, среди нескольких выборок.
Тип	Описательная статистика.	Выведенный статистика.
Распределение	Наблюдение касается нормальной кривой.	Оценка связана с нормальной кривой.
Расчет	Путем извлечения квадратного корня из дисперсии.	Деление стандартного отклонения на квадратный корень из размера выборки.

Что такое стандартное отклонение? 

Вариация указывает на отклонение значений, находящихся в среднем. В результате степень вариации обозначается мерами вариации. Что касается показателей вариации, стандартное отклонение является одним из наиболее распространенных показателей.

Для удобного математического анализа люди предпочитают стандартное отклонение, поскольку оно полностью основано на всех значениях, будь то самое высокое или самое низкое. 

Стандартное отклонение называется мерой отклонения от среднего по набору данных. Его основной мотив — измерить абсолютную изменчивость любого распределения.

Если дисперсия или изменчивость выше, стандартное отклонение слишком велико. В результате величина отклонения также будет больше. Стандартное отклонение обозначается σ (сигма). 

Когда дело доходит до финансовых условий, стандартное отклонение используется в таких сделках, как взаимные фонды, акции и другие. Стандартное отклонение используется для измерения рисков, связанных с инвестиционным инструментом.

Это полезно для инвесторов, потому что дает им математическую основу для принятия решений на финансовом рынке для своих инвестиций. 

Стандартное отклонение можно рассчитать с помощью программного обеспечения, используемого для статистического анализа, а также вручную. Чтобы получить окончательный результат, вам нужно пройти несколько шагов, например, найти среднее значение, а затем от него найти отклонение каждой оценки.

Далее квадратное отклонение и находим сумму квадратов. Затем перейдите к дисперсии и найдите ее, а затем найдите из нее квадратный корень. 

Что такое стандартная ошибка? 

В математике стандартная ошибка используется для измерения изменчивости статистики. SE — это его сокращенная форма. Это помогает сделать приближение стандартной ошибки в данной выборке.

Он оценивает точность, согласованность и эффективность выборки, или можно сказать, что он измеряет, как представить распределение выборки, точно представляющее совокупность. 

Среднее или среднее значение рассчитывается при наличии выборочной совокупности. Стандартная ошибка помогает компенсировать любые случайные неточности, связанные со сбором образцов.

Когда собирается несколько выборок, это создает разницу между переменными, поскольку среднее значение каждой выборки немного отличается друг от друга. Разница рассчитывается как стандартная ошибка. 

Стандартная ошибка полезна как в статистике, так и в экономике. Когда дело доходит до финансовых терминов, это полезно в области, связанной с эконометрикой. В этом исследовании исследователь использовал стандартную ошибку для выполнения гипотеза тестирование и регрессионный анализ.

Тогда как в выведенный статистика, Стандартная ошибка является основой для создания доверия интер. 

Стандартная ошибка рассчитывается путем деления стандартного отклонения на квадратный корень из размера выборки. Если в расчете среднего значения больше точек данных, стандартная ошибка будет меньше.

В результате данные будут более репрезентативными для истинного среднего значения. Если в данных обнаружены заметные несоответствия, это означает, что стандартная ошибка велика. 

Основные различия между стандартным отклонением и стандартной ошибкой 

1. Стандартное отклонение не зависит от случайной выборки, потому что это типичное отклонение от среднего. Но стандартная ошибка зависит от случайной выборки, потому что от ожидаемого значения это типичное отклонение. 
2. Что касается увеличения размера выборки, стандартное отклонение дает конкретную меру этого. С другой стороны, в стандартной ошибке она уменьшается. 
3. Стандартное отклонение упоминается как выборочная статистика, поскольку его статистика включает значения, полученные из выборки. В то время как стандартная ошибка упоминается как параметр совокупности, в котором параметр является значением и описывает всю совокупность. 
4. Стандартное отклонение измеряет количество наблюдений, которые отличаются друг от друга, тогда как стандартная ошибка измеряет точность среднего значения выборки до Средняя численность населения.  
5. Когда дело доходит до расчета доверительного интервала, связанного с генеральной совокупностью, стандартное отклонение не рассчитывается через него. С другой стороны, стандартная ошибка делает это. 

Рекомендации

1. https://www.sciencedirect.com/science/article/pii/S0022103113000668
2. https://www.jstor.org/stable/2729411

Содержание

• Сравнительная таблица
• Определение стандартного отклонения
• Определение стандартной ошибки
• Ключевые различия между стандартным отклонением и стандартной ошибкой
• Вывод

Стандартное отклонение определяется как абсолютная мера дисперсии ряда. Он уточняет стандартную величину отклонения по обе стороны от среднего. Его часто неправильно истолковывают со стандартной ошибкой, поскольку он основан на стандартном отклонении и размере выборки.

Стандартная ошибка используется для измерения статистической точности оценки. Он в основном используется в процессе проверки гипотез и оценки интервала.

Это две важные концепции статистики, которые широко используются в области исследований. Разница между стандартным отклонением и стандартной ошибкой основана на различии между описанием данных и их выводом.

Сравнительная таблица

Основа для сравнения	Стандартное отклонение	Стандартная ошибка
Имея в виду	Стандартное отклонение подразумевает меру отклонения набора значений от их среднего.	Стандартная ошибка означает меру статистической точности оценки.
Статистика	Описательный	Логический
Меры	Насколько наблюдения отличаются друг от друга.	Насколько точно среднее значение выборки соответствует истинному среднему значению генеральной совокупности.
Распределение	Распределение наблюдения относительно нормальной кривой.	Распределение оценки относительно нормальной кривой.
Формула	Корень квадратный из дисперсии	Стандартное отклонение, деленное на квадратный корень из размера выборки.
Увеличение размера выборки	Дает более конкретную меру стандартного отклонения.	Уменьшает стандартную ошибку.

Определение стандартного отклонения

Стандартное отклонение — это мера разброса ряда или расстояния от стандарта. В 1893 году Карл Пирсон ввел понятие стандартного отклонения, которое, несомненно, является наиболее часто используемой мерой в научных исследованиях.

Это квадратный корень из среднего квадрата отклонений от их среднего значения. Другими словами, для данного набора данных стандартное отклонение — это среднеквадратичное отклонение от среднего арифметического. Для всего населения он обозначается греческой буквой «сигма (σ)», а для выборки — латинской буквой «s».

Стандартное отклонение — это мера, которая количественно определяет степень дисперсии набора наблюдений. Чем дальше точки данных от среднего значения, тем больше отклонение в наборе данных, что означает, что точки данных разбросаны по более широкому диапазону значений и наоборот.

Определение стандартной ошибки

Вы могли заметить, что разные выборки одинакового размера, взятые из одной и той же совокупности, дадут разные значения рассматриваемой статистики, т.е. выборочное среднее. Стандартная ошибка (SE) представляет собой стандартное отклонение различных значений выборочного среднего. Он используется для сравнения выборочных средних по совокупности.

Короче говоря, стандартная ошибка статистики — это не что иное, как стандартное отклонение ее выборочного распределения. Он играет большую роль в проверке статистических гипотез и интервальной оценке. Это дает представление о точности и достоверности сметы. Чем меньше стандартная ошибка, тем больше однородность теоретического распределения и наоборот.

• Формула: Стандартная ошибка для выборочного среднего = σ / √n
  Где, σ — стандартное отклонение совокупности

Ключевые различия между стандартным отклонением и стандартной ошибкой

Приведенные ниже моменты существенны с точки зрения разницы между стандартным отклонением:

1. Стандартное отклонение — это мера, которая оценивает степень вариации набора наблюдений. Стандартная ошибка измеряет точность оценки, т. Е. Является мерой изменчивости теоретического распределения статистики.
2. Стандартное отклонение — это описательная статистика, тогда как стандартная ошибка — это выводимая статистика.
3. Стандартное отклонение измеряет, насколько отдельные значения отличаются от среднего значения. Напротив, насколько близко среднее значение выборки к среднему значению генеральной совокупности.
4. Стандартное отклонение — это распределение наблюдений относительно нормальной кривой. В отличие от этого, стандартная ошибка — это распределение оценки относительно нормальной кривой.
5. Стандартное отклонение определяется как квадратный корень из дисперсии. И наоборот, стандартная ошибка описывается как стандартное отклонение, деленное на квадратный корень из размера выборки.
6. Когда размер выборки увеличивается, это дает более конкретную меру стандартного отклонения. В отличие от стандартной ошибки, когда размер выборки увеличивается, стандартная ошибка имеет тенденцию к уменьшению.

Вывод

В целом стандартное отклонение считается одним из лучших показателей дисперсии, который измеряет отклонение значений от центрального значения. С другой стороны, стандартная ошибка в основном используется для проверки надежности и точности оценки, поэтому чем меньше ошибка, тем выше ее надежность и точность.