Стандартная ошибка среднего статистика

17 авг. 2022 г.
читать 2 мин

1. 

   1

   Запомните определение среднеквадратического отклонения. Среднеквадратическое отклонение выборки – это мера рассеянности значения. Среднеквадратическое отклонение выборки обычно обозначается буквой s. Математическая формула среднеквадратического отклонения приведена выше.

2. 

   2

   Узнайте, что такое истинное среднее значение. Истинное среднее является средним группы чисел, включающим все числа всей группы – другими словами, это среднее всей группы чисел, а не выборки.

3. 

   3

   Научитесь рассчитывать среднеарифметическое значение. Среднеаримфетическое означает попросту среднее: сумму значений собранных данных, разделенную на количество значений этих данных.

4. 

   4

   Узнайте, что такое выборочное среднее. Когда среднеарифметическое значение основано на серии наблюдений, полученных в результате выборок из статистической совокупности, оно называется “выборочным средним”. Это среднее выборки чисел, которое описывает среднее значение лишь части чисел из всей группы. Его обозначают как:

5. 

   5

   Усвойте понятие нормального распределения. Нормальные распределения, которые используются чаще других распределений, являются симметричными, с единичным максимумом в центре – на среднем значении данных. Форма кривой подобна очертаниям колокола, при этом график равномерно опускается по обе стороны от среднего. Пятьдесят процентов распределения лежит слева от среднего, а другие пятьдесят процентов – справа от него. Рассеянность значений нормального распределения описывается стандартным отклонением.

6. 

   6

   Запомните основную формулу. Формула для вычисления стандартной ошибки приведена выше.

   Реклама

1. 

   1

   Рассчитайте выборочное среднее. Чтобы найти стандартную ошибку, сначала нужно определить среднеквадратическое отклонение (поскольку среднеквадратическое отклонение s входит в формулу для вычисления стандартной ошибки). Начните с нахождения средних значений. Выборочное среднее выражается как среднее арифметическое измерений x1, x2, . . . , xn. Его рассчитывают по формуле, приведенной выше.

   • Допустим, например, что вам нужно рассчитать стандартную ошибку выборочного среднего результатов измерения массы пяти монет, указанных в таблице:
     Вы сможете рассчитать выборочное среднее, подставив значения массы в формулу:

2. 

   2

   Вычтите выборочное среднее из каждого измерения и возведите полученное значение в квадрат. Как только вы получите выборочное среднее, вы можете расширить вашу таблицу, вычтя его из каждого измерения и возведя результат в квадрат.

   • Для нашего примера расширенная таблица будет иметь следующий вид:

3. 

   3

   Найдите суммарное отклонение ваших измерений от выборочного среднего. Общее отклонение – это сумма возведенных в квадрат разностей от выборочного среднего. Чтобы определить его, сложите ваши новые значения.

   • В нашем примере нужно будет выполнить следующий расчет:
     Это уравнение дает сумму квадратов отклонений измерений от выборочного среднего.

4. 

   4

   Рассчитайте среднеквадратическое отклонение ваших измерений от выборочного среднего. Как только вы будете знать суммарное отклонение, вы сможете найти среднее отклонение, разделив ответ на n -1. Обратите внимание, что n равно числу измерений.

   • В нашем примере было сделано 5 измерений, следовательно n – 1 будет равно 4. Расчет нужно вести следующим образом:

5. 

   5

   Найдите среднеквадратичное отклонение. Сейчас у вас есть все необходимые значения для того, чтобы воспользоваться формулой для нахождения среднеквадратичного отклонения s.

   • В нашем примере вы будете рассчитывать среднеквадратичное отклонение следующим образом:
     Следовательно, среднеквадратичное отклонение равно 0,0071624.

   Реклама

1. 

   1

   Чтобы вычислить стандартную ошибку, воспользуйтесь базовой формулой со среднеквадратическим отклонением.

   • В нашем примере вы сможете рассчитать стандартную ошибку следующим образом:
     Таким образом в нашем примере стандартная ошибка (среднеквадратическое отклонение выборочного среднего) составляет 0,0032031 грамма.

Советы

• Стандартную ошибку и среднеквадратическое отклонение часто путают. Обратите внимание, что стандартная ошибка описывает среднеквадратическое отклонение выборочного распределения статистических данных, а не распределения отдельных значений
• В научных журналах понятия стандартной ошибки и среднеквадратического отклонения несколько размыты. Для объединения двух величин используется знак ±.

Реклама

Мода

Мода (mode) — наиболее часто встречающееся значение данной переменной.

Тут все достаточно просто и интуитивно понятно. Пусть у нас есть следующий вектор наблюдений:

x <- c(1,3,4,6,4,2,4,3,2,4,1)

Если мы составим таблицу частот по этому вектору, то получим следующее:

## x
## 1 2 3 4 6 
## 2 2 2 4 1

Очевидно, что \(4\) всречается в векторе чаще других значений — это и есть мода.

Также очевидно, что моду невозможно посчитать на непрерывной шкале.

Почему?

Формально моду можно определить как значение переменной, при котором функция вероятности (probability mass function) принимает максимальное значение:

\[
\mathrm{mode}(X) = \max(\mathrm{PMF}(X))
\]

К сожалению, в R нет встроенной функции для расчёта моды.

## [1] 4

mode(c(1, 2, 2, 3, 4, 4))

## [1] 2 4

Медиана

Если мы уже гуляем на просторах порядковой шкалы, то можем посчитать медиану.

Медиана (median) — это значение, которые располягается на середине сортированного⁵ вектора значений переменной. То есть, она делит все наблюдения переменной ровно пополам и 50% наблюдений оказывается по одну сторону от медианы, а 50% — по другую. По этой причине медиана также называется вторым квартилем распределения.

Почему нельзя посчитать медиану на номинальной шкале?

Формальное определение медианы зависит от количества значений в векторе: если есть нечётное количество значений — то это ровно середина сортированного вектора, если есть чётное количество наблюдение — то медиана определяется как (арифметическое) среднее между двумя срединными наблюдениями.

\[
\mathrm{median} = \begin{cases}
X(\frac{n+1}{2}), & \text{ if } n \text{ is odd},\\
\dfrac{X(\frac{n}{2}) + X(\frac{n}{2}+1)}{2}, & \text{ otherwise},
\end{cases}
\]
где \(X\) — вектор налюдений данной переменной, \(n\) — число наблюдений, \(X(a)\) — наблюдение с индексом \(a\) в сортированном векторе \(X\).

Для вектора x, который был создан выше, расчёт медианы выглядит так:

## [1] 3

Изи.

Среднее

А ежели мы уже на уровне интервальной шкалы, что не грех и среднее посчитать. Вот только какое?

## [1] 3.090909

## [1] 4

## [1] 3

## [1] 3.090909

## [1] 2.698696

## [1] 1.028519

weighted.mean(x = c(10, 8, 8), # вектор значений параметров (например, баллы за тест, эссе и экзамен)
              w = c(0.1, 0.3, 0.6)) # веса в итоговой оценке

## [1] 8.2

Минимум и максимум

Как можно описать разброс? Указать минимум и максимум!

Это, во-первых, справедливо, во-вторых, просто, что даже останавливаться на этом не будем. Вот соответствующие функции:

min(x1); min(x2) # да, точка с запятой в R тоже работает

## [1] 4

## [1] 1

max(x1); max(x2) # но заклинаю вас использовать её не в ущерб удобочитаемости

## [1] 50

## [1] 31

Минимум и максимум по переменных всегда полезно смотреть при исследовании данных — так можно обнаружить ошибки записи. Например, если вы психометрик и используете в вопросах опросника семибальную шкалу его высочества Ликерта (Лайкерта), а при исследовании собранных данных обнаруживаете минимум по какому-либо вопросу 0, а максимум 9 — явно что-то пошло не так. Или, допустим, вы анализируете заработную плату сотрудников организации и обнаруживаете минимум по переменной «фонд оплаты труда» ниже МРОТ — повод задуматься. Конечно, сразу выкидывать наблюдения не надо, но точно надо обратить на них внимание и изучить возможные причины появления таких значений — может сотрудник устроен на 0.1 ставки?

min_custom(x1); min_custom(x2)

## [1] 4

## [1] 1

max_custom(x1); max_custom(x2)

## [1] 50

## [1] 31

Размах

А если у нас есть минимум и максимум — значит можно посчитать разницу между ими. И получить такую статистику как размах (range). Добрые люди написали одноименную функцию, правда считает она не сам размах, а выводит минимум и максимум по массиву:

## [1]  4 50

## [1]  1 31

Но это не беда, потому что другие добрые люди написали более серьезные функции, чтобы облегчить нам статистическую жизнь. С ними познакомимся далее.

Дисперсия

Ну, хорошо, range() нам указал, что действительно разброс в наших векторах различный, несмотря на то, что средние в точности равны. Что нам еще надо?

Вот другой пример. Есть два таких вектора.

##  [1]  1  1  2  5  5  6  8  8 10 10

##  [1]  1  3  4  4  5  6  7  7  9 10

## [1] 5.6

## [1] 5.6

## [1]  1 10

## [1]  1 10

Вроде и средние одинаковы, и размах одинаковый. Но вектора явно различаются. Можно даже посмотреть на картинку:

par(mfrow=c(2,1)) # размещаем два графика друг по другом
hist(x3, breaks = 10)
hist(x4, breaks = 10)

par(mfrow=c(1,1)) # откатываем настройки обратно

Всё это безобразие приводит нас к мысли о том, что нам недостаточно описания «общей», «внешней» вариативности, нам надо ещё постараться как-то ухватить вариативность «внутри» ряда наблюдений. И желательно тоже в какой-нибудь одной чиселке.

Будем действовать аккуратно и пошагово. Что у нас есть сейчас? Мы умеем считать средне, которое отражает центральную тенденцию. Ок, давайте зацепимся за него и — раз это «центр» — будем считать вариативность относительного него. Каждое наблюдение в ту или иную сторону отклоняется от среднего. Ок, мы в состоянии посчитать отклонение (deviation) каждого наблюдения:

\[
d = \bar x — x_i
\]
Топчик! А что, если… посмотреть, как в среднем все наблюдения отклоняются от среднего значения? Отличная же идея! Считаем среднее отклонение!

\[
\frac{\sum_{i=1}^n(\bar x — x_i)}{n},
\]
\(n\) — количество наблюдений в выборке.

План хорош — но не без изъяна… Так как отклонения у нас происходят в обе стороны от среднего — в положительную и отрицательную — то и в сумме они дадут нам что-то около нуля. Соответственно, и среднее отклонение у нас будет где-то около нуля. Известно, что есть два путя, как победить минус — взять модуль или возвести в квадрат.

• Модуль. Преимущество первого в том, что размерность величины разброса остается той же, что и у измеряемой переменной⁸.
• Квадрат. Преимущество второго в том, что сильные отклонения будут оказывать более сильное влияние на окончательное значение статистики, в то время как для первого малые и большие отклонения равноценны.

Второй пункт на практике нам оказывается важнее, посему, мы избирем путь Мандалора, то есть возведения в квадрат.

Итак, возводим отклонения в квадрат и — о, боги — мы получили формулу дисперсии, или вариации (dispersion, variance)!

\[
\sigma^2 = \frac{\sum_{i=1}^n (\bar x — x_i)^2}{n}
\]
Так, а что мы в итоге получили? Формулу дисперсии. Какой?

Если со средними всё было легко и непринужденно, то с дисперсией нам придётся ещё поскрипеть мозгами над тем, что такое…

var(x3); var(x4) # вычисляется несмещённая дисперсия

## [1] 11.82222

## [1] 7.6

## [1] 68.4

Стандартное отклонение

Есть существует \(\sigma^2\), то где-то должна быть и \(\sigma\). И согласно здравому смыслу, вычисляться она должна извлечением квадратного корня из дисперсии.

Действительно, \(\sigma\) существует и обозначает стандартное отклонение (среднее квадратичное отклонение, standart deviation) — ещё одну меру разброса. А она нам зачем?

Дисперсия прекрасна и замечательна как статистический показатель, но вот её значение достаточно трудно интерпретировать, так как её размерность — это единицы измерения переменной в квадрате. Например, ПРИМЕР. Стандартное отклонение возвращает размерность обратно.

Так как существует две дисперсии — генеральная и выборочная — то и стандартных отклонения будет существовать два:

• стандартное отклонение генеральной совокупности

\[
\sigma_X = \sqrt{\sigma^2_X} = \sqrt{\frac{\sum_{i=1}^n (\bar x — x_i)^2}{n}} = \sqrt{\frac{\sum_{i=1}^n d_i^2}{n}},
\]
где \(d_i = \bar x — x_i\) — отклонение. Узнали? Согласны?

• стандартное отклонение выборки

\[
s = \mathrm{sd}(X) = \sqrt{s^2} = \sqrt{\frac{\sum_{i=1}^n (\bar x — x_i)}{n-1}}
\]

Раскопайте из недр R доказательство, что стандартное отклонение вычисляется согласно представленной выше формуле.
Помните, что R — это программное обеспечение с открытым исходным кодом?

Стандартная ошибка среднего

Набираем много выборок из генеральной совокупности. Получаем распределение средних значений. Стандартное оклонение данного распределение называется стандартной ошибкой среднего (standard error of mean).

• стандартная ошибка среднего в генеральной совокупности

\[
\sigma_X^- = \frac{\sigma_X}{\sqrt{n}}
\]

• стандартная ошибка среднего по выборке

\[
s_X^- = \mathrm{se}(X) = \frac{s_X}{\sqrt{n}}
\]
Стандартная ошибка, во-первых, сама по себе является интервальной оценкой среднего, а кроме того, используется при вычислении доверительного интервала. ОБЪЯСНЕНИЕ

Квантили

Мы уже обсуждали квантили в теме распределений. Теперь попробуем переложить имеющиеся знания на работу с эмпирическими данными.

Как мы знаем, квантиль — это точка на шкале признака, которая не превышается с опредлённой вероятностью по данному распределению. То есть ниже квантиля 0,02 (\(x_{0,02}\)) лежит 2% наблюдений, а ниже квантиля 0,98 (\(x_{0,98}\)) лежит практически все распределение (98%).

С произвольными квантилями в практике мы практически не работаем. Рассмотрим «особенные» квантили.

x5 <- rnorm(100, mean = 3.5, sd = 0.45)
quantile(x5) # обратите внимание на название функции :)

##       0%      25%      50%      75%     100% 
## 2.184432 3.162326 3.507951 3.804915 4.436762

##   [1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [13] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [25] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [37] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [49] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [61] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE
##  [73] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [85] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
##  [97] FALSE FALSE FALSE FALSE  TRUE

# воспользуемся данными, которые уже видели
share <- read_csv('https://raw.githubusercontent.com/angelgardt/mk_ggplot2/master/sharexp_data.csv')

psych::describe(share$time1)

psych::describeBy(share$time1, group = share$trialtype)

psych::describeBy(share$time1, group = interaction(share$trialtype, share$setsize))

share %>% 
  filter(trialtype != 'both') %>% 
  group_by(trialtype, setsize, platform, id) %>% 
  summarise(mean = mean(time1),
            median = median(time1),
            var = var(time1),
            sd = sd(time1),
            min = min(time1),
            max = max(time1),
            se = sd/sqrt(length(time1)),
            skew = moments::skewness(time1),
            kurt = moments::kurtosis(time1))

theme_set(theme_bw())
share %>%
  filter(trialtype != 'both') %>% 
  ggplot(aes(as_factor(setsize), time1, color = trialtype)) +
  geom_boxplot() +
  stat_summary(fun = mean, geom = 'point', shape = 15, position = position_dodge(0.8)) +
  facet_wrap(~ platform)

share %>% 
  filter(trialtype != 'both') %>% 
  group_by(trialtype, setsize, platform, id) %>% 
  summarise(lower = quantile(time1)[2] - 1.5 * IQR(time1),
            upper = quantile(time1)[4] + 1.5 * IQR(time1)) %>% 
  right_join(share) %>% 
  filter(time1 > lower & time1 < upper) %>% 
  select(-lower, -upper) -> share_clear

share %>% 
  filter(trialtype != 'both') %>% 
  group_by(trialtype, setsize, platform, id) %>% 
  mutate(outlier = is_outlier(time1)) %>% 
  filter(!outlier)