Нормированная среднеквадратичная ошибка nmse

В машинном обучении различают оценки качества для задачи классификации и регрессии. Причем оценка задачи классификации часто значительно сложнее, чем оценка регрессии.

Оценки качества классификации

Матрица ошибок (англ. Сonfusion matrix)

Перед переходом к самим метрикам необходимо ввести важную концепцию для описания этих метрик в терминах ошибок классификации — confusion matrix (матрица ошибок).
Допустим, что у нас есть два класса и алгоритм, предсказывающий принадлежность каждого объекта одному из классов.
Рассмотрим пример. Пусть банк использует систему классификации заёмщиков на кредитоспособных и некредитоспособных. При этом первым кредит выдаётся, а вторые получат отказ. Таким образом, обнаружение некредитоспособного заёмщика () можно рассматривать как «сигнал тревоги», сообщающий о возможных рисках.

Любой реальный классификатор совершает ошибки. В нашем случае таких ошибок может быть две:

• Кредитоспособный заёмщик распознается моделью как некредитоспособный и ему отказывается в кредите. Данный случай можно трактовать как «ложную тревогу».
• Некредитоспособный заёмщик распознаётся как кредитоспособный и ему ошибочно выдаётся кредит. Данный случай можно рассматривать как «пропуск цели».

Несложно увидеть, что эти ошибки неравноценны по связанным с ними проблемам. В случае «ложной тревоги» потери банка составят только проценты по невыданному кредиту (только упущенная выгода). В случае «пропуска цели» можно потерять всю сумму выданного кредита. Поэтому системе важнее не допустить «пропуск цели», чем «ложную тревогу».

Поскольку с точки зрения логики задачи нам важнее правильно распознать некредитоспособного заёмщика с меткой , чем ошибиться в распознавании кредитоспособного, будем называть соответствующий исход классификации положительным (заёмщик некредитоспособен), а противоположный — отрицательным (заемщик кредитоспособен ). Тогда возможны следующие исходы классификации:

• Некредитоспособный заёмщик классифицирован как некредитоспособный, т.е. положительный класс распознан как положительный. Наблюдения, для которых это имеет место называются истинно-положительными (True Positive — TP).
• Кредитоспособный заёмщик классифицирован как кредитоспособный, т.е. отрицательный класс распознан как отрицательный. Наблюдения, которых это имеет место, называются истинно отрицательными (True Negative — TN).
• Кредитоспособный заёмщик классифицирован как некредитоспособный, т.е. имела место ошибка, в результате которой отрицательный класс был распознан как положительный. Наблюдения, для которых был получен такой исход классификации, называются ложно-положительными (False Positive — FP), а ошибка классификации называется ошибкой I рода.
• Некредитоспособный заёмщик распознан как кредитоспособный, т.е. имела место ошибка, в результате которой положительный класс был распознан как отрицательный. Наблюдения, для которых был получен такой исход классификации, называются ложно-отрицательными (False Negative — FN), а ошибка классификации называется ошибкой II рода.

Таким образом, ошибка I рода, или ложно-положительный исход классификации, имеет место, когда отрицательное наблюдение распознано моделью как положительное. Ошибкой II рода, или ложно-отрицательным исходом классификации, называют случай, когда положительное наблюдение распознано как отрицательное. Поясним это с помощью матрицы ошибок классификации:

	Истинно-положительный (True Positive — TP)	Ложно-положительный (False Positive — FP)
	Ложно-отрицательный (False Negative — FN)	Истинно-отрицательный (True Negative — TN)

Здесь — это ответ алгоритма на объекте, а — истинная метка класса на этом объекте.
Таким образом, ошибки классификации бывают двух видов: False Negative (FN) и False Positive (FP).
P означает что классификатор определяет класс объекта как положительный (N — отрицательный). T значит что класс предсказан правильно (соответственно F — неправильно). Каждая строка в матрице ошибок представляет спрогнозированный класс, а каждый столбец — фактический класс.

 # код для матрицы ошибок
 # Пример классификатора, способного проводить различие между всего лишь двумя
 # классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.metrics import confusion_matrix
 from sklearn.linear_model import SGDClassifier
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (англ. Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распозновать пятерки на целом обучающем наборе
 # Для расчета матрицы ошибок сначала понадобится иметь набор прогнозов, чтобы их можно было сравнивать с фактическими целями
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 print(confusion_matrix(y_train_5, y_train_pred))
 # array([[53892, 687],
 #        [ 1891, 3530]])

Безупречный классификатор имел бы только истинно-поло­жительные и истинно отрицательные классификации, так что его матрица ошибок содержала бы ненулевые значения только на своей главной диа­гонали (от левого верхнего до правого нижнего угла):

 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.metrics import confusion_matrix
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 y_train_perfect_predictions = y_train_5 # притворись, что мы достигли совершенства
 print(confusion_matrix(y_train_5, y_train_perfect_predictions))
 # array([[54579, 0],
 #        [ 0, 5421]])

Аккуратность (англ. Accuracy)

Интуитивно понятной, очевидной и почти неиспользуемой метрикой является accuracy — доля правильных ответов алгоритма:

Эта метрика бесполезна в задачах с неравными классами, что как вариант можно исправить с помощью алгоритмов сэмплирования и это легко показать на примере.

Допустим, мы хотим оценить работу спам-фильтра почты. У нас есть 100 не-спам писем, 90 из которых наш классификатор определил верно (True Negative = 90, False Positive = 10), и 10 спам-писем, 5 из которых классификатор также определил верно (True Positive = 5, False Negative = 5).
Тогда accuracy:

Однако если мы просто будем предсказывать все письма как не-спам, то получим более высокую аккуратность:

При этом, наша модель совершенно не обладает никакой предсказательной силой, так как изначально мы хотели определять письма со спамом. Преодолеть это нам поможет переход с общей для всех классов метрики к отдельным показателям качества классов.

 # код для для подсчета аккуратности:
 # Пример классификатора, способного проводить различие между всего лишь двумя
 # классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.metrics import accuracy_score
 from sklearn.linear_model import SGDClassifier
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распозновать пятерки на целом обучающем наборе
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 # print(confusion_matrix(y_train_5, y_train_pred))
 # array([[53892, 687]
 #        [ 1891, 3530]])
 print(accuracy_score(y_train_5, y_train_pred)) # == (53892 + 3530) / (53892 + 3530  + 1891 +687)
 
 # 0.9570333333333333

Точность (англ. Precision)

Точностью (precision) называется доля правильных ответов модели в пределах класса — это доля объектов действительно принадлежащих данному классу относительно всех объектов которые система отнесла к этому классу.

Именно введение precision не позволяет нам записывать все объекты в один класс, так как в этом случае мы получаем рост уровня False Positive.

Полнота (англ. Recall)

Полнота — это доля истинно положительных классификаций. Полнота показывает, какую долю объектов, реально относящихся к положительному классу, мы предсказали верно.

Полнота (recall) демонстрирует способность алгоритма обнаруживать данный класс вообще.

Имея матрицу ошибок, очень просто можно вычислить точность и полноту для каждого класса. Точность (precision) равняется отношению соответствующего диагонального элемента матрицы и суммы всей строки класса. Полнота (recall) — отношению диагонального элемента матрицы и суммы всего столбца класса. Формально:

Результирующая точность классификатора рассчитывается как арифметическое среднее его точности по всем классам. То же самое с полнотой. Технически этот подход называется macro-averaging.

 # код для для подсчета точности и полноты:
 # Пример классификатора, способного проводить различие между всего лишь двумя
 # классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.metrics import precision_score, recall_score
 from sklearn.linear_model import SGDClassifier
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распозновать пятерки на целом обучающем наборе
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 # print(confusion_matrix(y_train_5, y_train_pred))
 # array([[53892, 687]
 #        [ 1891, 3530]])
 print(precision_score(y_train_5, y_train_pred)) # == 3530 / (3530 + 687)
 print(recall_score(y_train_5, y_train_pred)) # == 3530 / (3530 + 1891)
   
 # 0.8370879772350012
 # 0.6511713705958311

F-мера (англ. F-score)

Precision и recall не зависят, в отличие от accuracy, от соотношения классов и потому применимы в условиях несбалансированных выборок.
Часто в реальной практике стоит задача найти оптимальный (для заказчика) баланс между этими двумя метриками. Понятно что чем выше точность и полнота, тем лучше. Но в реальной жизни максимальная точность и полнота не достижимы одновременно и приходится искать некий баланс. Поэтому, хотелось бы иметь некую метрику которая объединяла бы в себе информацию о точности и полноте нашего алгоритма. В этом случае нам будет проще принимать решение о том какую реализацию запускать в производство (у кого больше тот и круче). Именно такой метрикой является F-мера.

F-мера представляет собой гармоническое среднее между точностью и полнотой. Она стремится к нулю, если точность или полнота стремится к нулю.

Данная формула придает одинаковый вес точности и полноте, поэтому F-мера будет падать одинаково при уменьшении и точности и полноты. Возможно рассчитать F-меру придав различный вес точности и полноте, если вы осознанно отдаете приоритет одной из этих метрик при разработке алгоритма:

где принимает значения в диапазоне если вы хотите отдать приоритет точности, а при приоритет отдается полноте. При формула сводится к предыдущей и вы получаете сбалансированную F-меру (также ее называют ).

F-мера достигает максимума при максимальной полноте и точности, и близка к нулю, если один из аргументов близок к нулю.

F-мера является хорошим кандидатом на формальную метрику оценки качества классификатора. Она сводит к одному числу две других основополагающих метрики: точность и полноту. Имея «F-меру» гораздо проще ответить на вопрос: «поменялся алгоритм в лучшую сторону или нет?»

 # код для подсчета метрики F-mera:
 # Пример классификатора, способного проводить различие между всего лишь двумя
 # классами, "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.linear_model import SGDClassifier
 from sklearn.metrics import f1_score
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распознавать пятерки на целом обучающем наборе
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 print(f1_score(y_train_5, y_train_pred))
 
 # 0.7325171197343846

ROC-кривая

Кривая рабочих характеристик (англ. Receiver Operating Characteristics curve).
Используется для анализа поведения классификаторов при различных пороговых значениях.
Позволяет рассмотреть все пороговые значения для данного классификатора.
Показывает долю ложно положительных примеров (англ. false positive rate, FPR) в сравнении с долей истинно положительных примеров (англ. true positive rate, TPR).

Доля FPR — это пропорция отрицательных образцов, которые были некорректно классифицированы как положительные.

,

где TNR — доля истинно отрицательных классификаций (англ. Тrие Negative Rate), пред­ставляющая собой пропорцию отрицательных образцов, которые были кор­ректно классифицированы как отрицательные.

Доля TNR также называется специфичностью (англ. specificity). Следовательно, ROC-кривая изображает чувствительность (англ. seпsitivity), т.е. полноту, в срав­нении с разностью 1 — specificity.

Прямая линия по диагонали представляет ROC-кривую чисто случайного классификатора. Хороший классификатор держится от указанной линии настолько далеко, насколько это
возможно (стремясь к левому верхнему углу).

Один из способов сравнения классификаторов предусматривает измере­ние площади под кривой (англ. Area Under the Curve — AUC). Безупречный клас­сификатор будет иметь площадь под ROC-кривой (ROC-AUC), равную 1, тогда как чисто случайный классификатор — площадь 0.5.

 # Код отрисовки ROC-кривой
 # На примере классификатора, способного проводить различие между всего лишь двумя классами
 # "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 from sklearn.metrics import roc_curve
 import matplotlib.pyplot as plt
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.linear_model import SGDClassifier
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5)  # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распозновать пятерки на целом обучающем наборе
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function")
 fpr, tpr, thresholds = roc_curve(y_train_5, y_scores)
 def plot_roc_curve(fpr, tpr, label=None):
     plt.plot(fpr, tpr, linewidth=2, label=label)
     plt.plot([0, 1], [0, 1], 'k--') # dashed diagonal
     plt.xlabel('False Positive Rate, FPR (1 - specificity)')
     plt.ylabel('True Positive Rate, TPR (Recall)')
     plt.title('ROC curve')
     plt.savefig("ROC.png")
 plot_roc_curve(fpr, tpr)
 plt.show()

Precison-recall кривая

Чувствительность к соотношению классов.
Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм , идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь плохой алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма.
Таким образом, если положительный класс существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так, алгоритм , помещающий 100 релевантных документов на позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95.

Precison-recall (PR) кривая. Избавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к PR-кривой. Она определяется аналогично ROC-кривой, только по осям откладываются не FPR и TPR, а полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает площадь под PR-кривой (англ. Area Under the Curve — AUC-PR)

 # Код отрисовки Precison-recall кривой
 # На примере классификатора, способного проводить различие между всего лишь двумя классами
 # "пятерка" и "не пятерка" из набора рукописных цифр MNIST
 from sklearn.metrics import precision_recall_curve
 import matplotlib.pyplot as plt
 import numpy as np
 from sklearn.datasets import fetch_openml
 from sklearn.model_selection import cross_val_predict
 from sklearn.linear_model import SGDClassifier
 mnist = fetch_openml('mnist_784', version=1)
 X, y = mnist["data"], mnist["target"]
 y = y.astype(np.uint8)
 X_train, X_test, y_train, y_test = X[:60000], X[60000:], y[:60000], y[60000:]
 y_train_5 = (y_train == 5) # True для всех пятерок, False для в сех остальных цифр. Задача опознать пятерки
 y_test_5 = (y_test == 5)
 sgd_clf = SGDClassifier(random_state=42) # классификатор на основе метода стохастического градиентного спуска (Stochastic Gradient Descent SGD)
 sgd_clf.fit(X_train, y_train_5) # обучаем классификатор распозновать пятерки на целом обучающем наборе
 y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3)
 y_scores = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3, method="decision_function")
 precisions, recalls, thresholds = precision_recall_curve(y_train_5, y_scores)
 def plot_precision_recall_vs_threshold(precisions, recalls, thresholds):
     plt.plot(recalls, precisions, linewidth=2)
     plt.xlabel('Recall')
     plt.ylabel('Precision')
     plt.title('Precision-Recall curve')
     plt.savefig("Precision_Recall_curve.png")
 plot_precision_recall_vs_threshold(precisions, recalls, thresholds)
 plt.show()

Оценки качества регрессии

Наиболее типичными мерами качества в задачах регрессии являются

Средняя квадратичная ошибка (англ. Mean Squared Error, MSE)

MSE применяется в ситуациях, когда нам надо подчеркнуть большие ошибки и выбрать модель, которая дает меньше больших ошибок прогноза. Грубые ошибки становятся заметнее за счет того, что ошибку прогноза мы возводим в квадрат. И модель, которая дает нам меньшее значение среднеквадратической ошибки, можно сказать, что что у этой модели меньше грубых ошибок.

и

Cредняя абсолютная ошибка (англ. Mean Absolute Error, MAE)

Среднеквадратичный функционал сильнее штрафует за большие отклонения по сравнению со среднеабсолютным, и поэтому более чувствителен к выбросам. При использовании любого из этих двух функционалов может быть полезно проанализировать, какие объекты вносят наибольший вклад в общую ошибку — не исключено, что на этих объектах была допущена ошибка при вычислении признаков или целевой величины.

Среднеквадратичная ошибка подходит для сравнения двух моделей или для контроля качества во время обучения, но не позволяет сделать выводов о том, на сколько хорошо данная модель решает задачу. Например, MSE = 10 является очень плохим показателем, если целевая переменная принимает значения от 0 до 1, и очень хорошим, если целевая переменная лежит в интервале (10000, 100000). В таких ситуациях вместо среднеквадратичной ошибки полезно использовать коэффициент детерминации —

Коэффициент детерминации

Коэффициент детерминации измеряет долю дисперсии, объясненную моделью, в общей дисперсии целевой переменной. Фактически, данная мера качества — это нормированная среднеквадратичная ошибка. Если она близка к единице, то модель хорошо объясняет данные, если же она близка к нулю, то прогнозы сопоставимы по качеству с константным предсказанием.

Средняя абсолютная процентная ошибка (англ. Mean Absolute Percentage Error, MAPE)

Это коэффициент, не имеющий размерности, с очень простой интерпретацией. Его можно измерять в долях или процентах. Если у вас получилось, например, что MAPE=11.4%, то это говорит о том, что ошибка составила 11,4% от фактических значений.
Основная проблема данной ошибки — нестабильность.

Корень из средней квадратичной ошибки (англ. Root Mean Squared Error, RMSE)

Примерно такая же проблема, как и в MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня.

Cимметричная MAPE (англ. Symmetric MAPE, SMAPE)

Средняя абсолютная масштабированная ошибка (англ. Mean absolute scaled error, MASE)

MASE является очень хорошим вариантом для расчета точности, так как сама ошибка не зависит от масштабов данных и является симметричной: то есть положительные и отрицательные отклонения от факта рассматриваются в равной степени.
Обратите внимание, что в MASE мы имеем дело с двумя суммами: та, что в числителе, соответствует тестовой выборке, та, что в знаменателе — обучающей. Вторая фактически представляет собой среднюю абсолютную ошибку прогноза. Она же соответствует среднему абсолютному отклонению ряда в первых разностях. Эта величина, по сути, показывает, насколько обучающая выборка предсказуема. Она может быть равна нулю только в том случае, когда все значения в обучающей выборке равны друг другу, что соответствует отсутствию каких-либо изменений в ряде данных, ситуации на практике почти невозможной. Кроме того, если ряд имеет тенденцию к росту либо снижению, его первые разности будут колебаться около некоторого фиксированного уровня. В результате этого по разным рядам с разной структурой, знаменатели будут более-менее сопоставимыми. Всё это, конечно же, является очевидными плюсами MASE, так как позволяет складывать разные значения по разным рядам и получать несмещённые оценки.

Недостаток MASE в том, что её тяжело интерпретировать. Например, MASE=1.21 ни о чём, по сути, не говорит. Это просто означает, что ошибка прогноза оказалась в 1.21 раза выше среднего абсолютного отклонения ряда в первых разностях, и ничего более.

Кросс-валидация

Хороший способ оценки модели предусматривает применение кросс-валидации (cкользящего контроля или перекрестной проверки).

В этом случае фиксируется некоторое множество разбиений исходной выборки на две подвыборки: обучающую и контрольную. Для каждого разбиения выполняется настройка алгоритма по обучающей подвыборке, затем оценивается его средняя ошибка на объектах контрольной подвыборки. Оценкой скользящего контроля называется средняя по всем разбиениям величина ошибки на контрольных подвыборках.

Примечания

1. [1] Лекция «Оценивание качества» на www.coursera.org
2. [2] Лекция на www.stepik.org о кросвалидации
3. [3] Лекция на www.stepik.org о метриках качества, Precison и Recall
4. [4] Лекция на www.stepik.org о метриках качества, F-мера
5. [5] Лекция на www.stepik.org о метриках качества, примеры

См. также

• Оценка качества в задаче кластеризации
• Кросс-валидация

Источники информации

1. [6] Соколов Е.А. Лекция линейная регрессия
2. [7] — Дьяконов А. Функции ошибки / функционалы качества
3. [8] — Оценка качества прогнозных моделей
4. [9] — HeinzBr Ошибка прогнозирования: виды, формулы, примеры
5. [10] — egor_labintcev Метрики в задачах машинного обучения
6. [11] — grossu Методы оценки качества прогноза
7. [12] — К.В.Воронцов, Классификация
8. [13] — К.В.Воронцов, Скользящий контроль

Министерство связи и информатизации
Республики Беларусь

Учреждение образования

«ВЫСШИЙ ГОСУДАРСТВЕННЫЙ КОЛЛЕДЖ СВЯЗИ»

Факультет электросвязи

Кафедра телекоммуникационных систем

На тему «Критерии оценивания качества
воспроизведения речи и изображений»

по дисциплине

«Цифровая обработка
речи и изображений»

Выполнила: Проверил:

ст.
гр. ПО-041

_____
В.С. Карейша __ С.И. Киркоров

Минск2012

ВВЕДЕНИЕ

Одним из наиболее мощных программных
пакетов обработки мультимедийных данных
является MatLab. С его помощью может
осуществляться программное моделирование
процессов и систем передачи информации.
Основные достоинства применения MatLab
для программного моделирования состоят
в простоте программирования (синтаксис
команд интерпретатора MatLab аналогичен
синтаксису C-программ), в удобстве отладки
программ (отсутствует необходимость в
компиляции программы перед ее выполнением,
после выполнения программы доступна
информация о состояниях всех ее
переменных), в простоте и эффективности
визуализации результатов выполнения
программы (формирование одномерных,
двухмерных и трехмерных графических
объектов), в поддержке большинства
стандартных форматов представления и
хранения файлов данных, аудио- и видео-
информации (неподвижных и подвижных
изображений), в наличии развитой
библиотеки встроенных функций, реализующих
основные операции обработки (информационные
преобразования, фильтрация и т.д.) и
хорошей документированности встроенных
функций (поиск по функциям, описание
функций, теоретические сведения по
цифровой обработке сигналов, примеры
программ).

Цель работы:

Изучение критерий оценивания качества
воспроизведения речи и изображений.
Закрепление навыков полученных при
выполнении лабораторных заданий №1 и
№2.

Краткие теоретические сведения.

Изображение задается таблицей чисел
состоящей из M строк
и N столбцов (1024×1024).
Каждое число в данной таблице описывает
один пиксел, который представляется K
битами (8 бит). Во всех рассматриваемых
здесь критериях сравнения степень
близости изображений определяется
числом, которое некоторым образом
вычисляется по данным изображениям.
Пусть первое изображение описывается
таблицей чисел

,
а второе –

.
Для расчета оценок отличия изображений
можно использовать следующие выражения:

1. Пиковое отношение сигнал/шум psnr

где

– среднеквадратичная ошибка, К –
битовая глубина цвета, т.е. количество
бит требуемое для представления одного
пиксела. Обычно вычисляется в децибелах
[dB]. Данная мера отличий
изображений является классической и,
в некотором смысле, эталонной. Во всех
работах по сравнению изображений любой
нововведенный критерий сравнивается
с PSNR. Считается, что если
значения PSNR больше чем
37[dB], то различие изображений
практически незаметно, а если меньше
20[dB], то различие изображений
является существенным и весьма
значительным. Вместо PSNR
иногда используются похожие выражения.
Например, среднеквадратичная ошибка
MSE, которая записана выше,
максимальная среднеквадратичная
погрешность PMSE,

,

нормированная
среднеквадратичная погрешность NMSE

,

отношение
сигнал/шум SNR

.

Все эти меры отличия изображений дают
результаты более или менее похожие с
PSNR. Поэтому их рассмотрение
не является целесообразным, при условии,
что используется PSNR.

2. Максимальная абсолютная ошибка
MAE

.

Классическая мера отличия изображений.
Если изображения идентичны, то MAE=0.

Эта
метрика хорошо отмечает даже самые
малые различия двух изображений.

3. Индекс структурной похожести (SSIM)

,

где

– среднее значение первого изображения,

– среднее значение первого изображения,

и

– выборочные дисперсии первого и второго
изображений соответственно,

– выборочный коэффициент корреляции.
Неотрицательные константы

и

выбираются произвольно. Для расчета
констант я выбираю следующие значения

и

,
где

,
К – битовая глубина цвета. Индекс
структурной похожести может принимать
значения от -1 до 1. Причем SSIM = 1,
если изображения совпадают.

Результата
вычислений.

	1	2	3	4	5	6
PSNR	42,9198	41,6652	40,8894	43,7451	42,7284	41,8565
PMSE	5,67*10-5	7,50*10-5	8,61*10-5	4,65*10-5	5,73*10-5	7,30*10-5
NMSE	3,08*10-4	2,92*10-4	2,38*10-4	1,12*10-4	1,50*10-4	4,44*10-4
SNR	35,1090	35,3461	36,2377	39,4999	38,2251	33,5305
MAE	61	62	84	88	56	71
SSIM	0,9991	0,9990	0,9988	0,9988	0,9993	0,9988

Рисунок
1 – График зависимости коэффициента
PSNR

Рисунок
2 – График зависимости коэффициента
МАЕ

Рисунок
3 – График зависимости коэффициента
SSIM

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Таблица 6

С целью предотвращения переобучения нейросетей ограничивается макси­мальное число итераций (эпох) по модификации синаптических весов — 1000. Байесовский ансамбль формируется из адекватных нейросетей. При этом нейросетевая модель признается адекватной при одновременном выполнении трех условий:

1. нормированная среднеквадратическая ошиб­ка (NMSE) не более 5%;
2. коэффициент корреляции между эмпириче­скими и полученными в ходе нейромоделирования данными (r) превышает 0,975;
3. частотный критерий качества (P^*) не менее 80%. Такой показатель рассчитывается по следу­ющей формуле [20]:

где N^* — количество наблюдений выходного параметра, объясненных нейросетевой моделью с заданной точностью (в нашем случае с относи­тельной погрешностью (), назначенной экспертно в размере 5 и 8%);

N_test — объем тестирующей выборки.

Экспериментальным путем было установлено, что значение индекса социального развития субъ­ектов Российской Федерации с заданной степенью точности аппроксимируется нелинейной функцией следующего вида:

где Х_1агр и Х_2агр — значения субиндексов, соответ­ственно, уровень жизни населения, научные ис­следования и инновации;

x_t — дополнительный входной фактор — время [19].

На основе ряда вычислительных эксперимен­тов был сформирован адекватный байесовский ансамбль из пяти нейросетей. Их конфигурация и результаты оценки на адекватность представ­лены в табл. 6 и 7.

Варьировалось не только количество скрытых слоев, но и число нейронов в них. Число нейронов в скрытых слоях оптимизировалось с помощью специальных возможностей программного про­дукта Neuro Solutions for Excel.

Так, в программном продукте имеется возмож­ность варьировать количество нейронов в одном из скрытых слоев с необходимым шагом при фик­сированном их количестве в других скрытых слоях. При этом вид активационной функции в скрытых слоях и выходном слое оставался неизменным — соответственно гиперболический тангенс и ли­нейная.

В нашем случае сформированный байесовский ансамбль нейросетей позволяет с высокой сте­пенью точности аппроксимировать социальное развитие российских регионов, т.е. с 0,982 коэффи­циентом корреляции эмпирических и полученных в ходе моделирования данных, 4,1% нормали­зованной средней ошибкой, а также корректно распознавать порядка 86,75 и 98% наблюдений, соответственно при 5- и 8%-ной относительной погрешности.

---

Таблица 7

Далее осуществляется прогнозирование со­циального развития регионов — лидеров России, ПФО, а также РБ в среднесрочной перспективе (табл. 8).

Таблица 8

По причине малого (во временном разрезе) мас­сива исходных данных прогнозирование значений входных параметров (двух субиндексов) произ­водится на основе усредненных за 2011-2016 гг. темпов их роста. При этом сделано допущение о неизменности темпов роста таких показателей в 2017-2019 гг.

У региона — лидера РФ (г. Москва) в 2017­2019 гг. ожидается снижение индекса социального развития по сравнению с 2014-2016 гг. В другом регионе — лидере России — г. Санкт-Петербурге также в среднесрочной перспективе прогнози­руется снижение индекса социального развития, но только по сравнению с 2016 г. Для регионов — лидеров ПФО (Республики Мордовия и Татарстан) в 2017-2019 гг., наоборот, ожидается социальное развитие по сравнению с 2014-2016 гг.

Таким образом, можно сделать вывод о необ­ходимости актуализации положений социальной политики регионов — лидеров России. При этом драйвером социального развития субъектов РФ должно стать не только дополнительное бюджет­ное финансирование их социальной сферы, но и повышение эффективности использования со­ответствующих ресурсов.

В Республике Башкортостан ожидается, что индекс социального развития в среднесрочной перспективе снизится незначительно. Несмотря на это, прогнозируется сохранение существенного отставания республики в социальной сфере от ре­гионов — лидеров РФ и ПФО. Это объясняется тем, что если по уровню жизни населения РБ является конкурентоспособным регионом страны, то в сфере научных исследований и инноваций наблюдается «разрыв» между республикой и регионами — лиде­рами РФ и ПФО. Отсюда, в современных условиях для Республики Башкортостан актуализируется вопрос повышения эффективности инновационной деятельности, что невозможно без увеличения господдержки инновационного бизнеса и усиле­ния контроля целевого расходования бюджетных средств.

Зарождение социальной прогностики произошло в 20-30-е годы XX века, когда стала очевидна многозначность общественного развития. Основателями прогнозирования можно считать таких ученых, как Н. Винер, Г. Тейл, Б. де Жувенел, Д. Белл, Э. Янг, Ф. Полак.

Социальное прогнозирование имеет большое значение в современном обществе. Почти все политические решения сегодня основываются на прогнозах. Зная желаемый результат объекта управления, с помощью прогнозирования можно выявить наиболее эффективный комплекс действий, необходимых для достижения результата. С помощью социальных прогнозов разрабатываются наиболее эффективные варианты решения социальных проблем.

---

Социальное прогнозирование основано на научных методах познания социальных и экономических явлений. Основными методами социального прогнозирования являются: статистические методы; методы экспертных оценок (метод Делфи);логические методы и моделирование.

Результаты государственного прогнозирования социально-экономического развития Российской Федерации используются при принятии органами законодательной и исполнительной власти Российской Федерации конкретных решений в области социально-экономической политики государства. В Федеральном законе от 20 июля 1995 г. N 115-ФЗ «О государственном прогнозировании и программах социально-экономического развития Российской Федерации».В нем выделены этапы кратко-, средне- и долгосрочного планирования. Социальное прогнозирование осуществляется как на государственном, так и на муниципальном уровне.

На сегодняшний день исследования практики муниципального управления показывают, что в процессе планирования возникает много ведомственных рассогласований, особенно на стадии бюджетного планирования.

Опыт современного планирования на муниципальном уровне невелик, исключением являются те муниципалитеты, которые сформировали основные элементы системы бюджетного и социально-экономического планирования, а также те немногие города, которые традиционно уделяли системному управлению первостепенное внимание. Для обеспечения более высокого уровня жизни и осуществления более эффективной социальной политики необходимо уделять большее внимание разработке системы планирования на муниципальном уровне.

На основе комплексного подхода (сочетающе­го в себе черты различных известных подходов) авторы считают возможным уточнить понятие «социальный потенциал» следующим образом: система условий, возможностей и ресурсов, спо­собствующих социально-экономическому про­грессу и интенсификации развития общества. Такая трактовка понятия носит универсальный характер (применима для межнационально­го, странового и регионального уровня). В свою очередь, под социальным развитием регионов страны понимается повышение степени реали­зации имеющегося у них социального потенци­ала. Для всесторонней и объективной оценки со­циального развития субъектов РФ предлагается использовать авторскую методику, практическое применение которой осуществляется в несколько последовательных этапов:

1. Формирование системы частных показателей, характеризующих уровень социального развития регионов страны. Такая система в нашем случае включает 14 ключевых индикаторов, объединен­ных в 5 групп: 1) население; 2) уровень жизни населения; 3) образование; 4) здравоохранение и 5) научные исследования и инновации.

---

2. Приведение в сопоставимый вид частных показателей путем нормализации их значений. Для этого используется метод «Паттерн», позволяющий объективно оценивать «глубину» межрегиональных «разрывов» в стране по всей системе социальных индикаторов.

3. При условии равнозначности частных по­казателей (также призвана обеспечивать объек­тивность оценки) осуществляется расчет индекса социального развития субъектов РФ.

В настоящее время актуализировался вопрос повышения эффективности социальной политики на региональном уровне. А это предполагает не только увеличение финансирования социальной сферы субъектов РФ, но и обеспечение надлежащего контроля расходования бюджетных средств.

4. На основе нейросетевых технологий (самоор­ганизующихся карт Кохонена) проводится класте­ризация регионов России по уровню социального развития.

По результатам оценки можно сделать вы­вод о наличии в условиях современной России существенных резервов социального развития у большинства ее регионов. На это указывает ряд обстоятельств. Так, в частности, в составе страны на протяжении последних трех лет превалирова­ли регионы, имеющие либо низкий, либо ниже среднего уровень социального развития (порядка 60-70% от их общего числа). Также нельзя не отметить, что в стране отсутствовали субъекты с высоким уровнем социального развития.

Результаты прогнозирования (для этого ис­пользуются нейросетевые технологии, а именно: формируется байесовский ансамбль динамиче­ских нейросетей различной конфигурации) на среднесрочную перспективу также нельзя при­знать оптимистичными. Так, в частности, у регио­нов — лидеров РФ (гг. Москва и Санкт-Петербург) в 2017-2019 гг. прогнозируется снижение уровня социального развития по сравнению, соответст­венно, с 2014-2016 гг. и только отчетным годом. Для РБ также прогнозируется в среднесрочной перспективе некоторое (пусть и незначительное) снижение уровня социального развития. При этом по-прежнему ожидается сохранение существенного «разрыва» между регионами — лидерами РФ (ПФО) и республикой в сфере социального развития. Та­кое «отставание» РБ объясняется не различием в уровне жизни населения, а «разрывом» в сфере инноваций.

Поэтому, на наш взгляд, в настоящее время актуализировался вопрос повышения эффектив­ности социальной политики на региональном уровне. А это предполагает не только увеличение финансирования социальной сферы субъектов РФ, но и обеспечение надлежащего контроля расхо­дования бюджетных средств.

---

Таким образом, государству необходимо перей­ти от экстенсивного к интенсивно-экстенсивному пути социального (и в его составе инновационного) развития регионов России.

1. Федеральный закон от 20 июля 1995 г. N 115-ФЗ «О государственном прогнозировании и программах социально-экономического развития Российской Федерации»
2. Белолипцев И. И., Горбатков С. А., Романов А. Н., Фархиева С. А. Моделирование управленческих ре­шений в сфере экономики в условиях неопределенности. М.: Инфра-М; 2015. 299 с.
3. Бокарева В. Б. Социальный потенциал российского малого бизнеса в условиях глобализации. Вестник Новосибирского государственного университета. Серия: Социально-экономические науки. 2001;11(3):196-204.
4. Букаев Г. И., Бублик Н. Д., Горбатков С. А., Саттаров Р. Ф. Модернизация системы налогового контроля на основе нейросетевых информационных технологий. М.: Наука; 2001. 344 с
5. Бурдье П. Формы капитала. Пер. с англ. Экономическая социология. 2002;3(5):60-74.
6. Гагарина Г. Ю., Губарев Р. В., Дзюба Е. И., Файзуллин Ф. С. Прогнозирование социально-экономиче­ского развития российских регионов. Экономика региона. 2017;13(4):1080-1094. DOI: 10.17059/2017- 4-9
7. Головко В. А. Нейронные сети: обучение, организация и применение. М.: ИПРЖР; 2001. 256 с.
8. Дрегало А. А., Ульяновский В. И., Брызгалов В. В., Крикуненко В. И., Шехина Т. П. Социальный потен­циал региона как фактор развития северных территорий. Архангельск: Изд-во СГМУ; 2008. 400 с.
9. Корчагин Ю. А. Российский человеческий капитал: фактор развития или деградации? Воронеж: ЦИРЭ; 2005. 252 с.
10. Коулман Дж. Капитал социальный и человеческий. Пер. с англ. Общественные науки и современность. 2001;(3):121-139.
11. Лапшин В. А. Структурные компоненты человеческого потенциала. Знание. Понимание. Умение. 2013;(1):259-263.
12. Михалкина Е. В., Косолапова Н. А., Сенькив О. Я. Модель оценки влияния факторов социально-эконо­мического развития регионов России на формирование человеческого потенциала. Terra Economicus. 2015;13(2):57-72.
13. Патнэм Р. Чтобы демократия сработала. Гражданские традиции в современной Италии. Пер. с англ. М.: Ad Marginem; 1996. 288 с.
14. Подберезкин А. И. Национальный человеческий капиталъ. Т. III: Идеология русского социализма. Кн. 2: Идеология русского социализма и стратегия национального развития. М.: Изд. группа URSS; 2011. 621 с.
15. Стратегия социально-экономического развития Тульской области до 2028 года.
16. Сафронова В.М. Прогнозирование и моделирование в социальной работе: Учеб.пособие для студ. высш. учеб. заведений. — М.: Издательский центр «Академия», 2002
17. Человеческий потенциал для инновационной экономики. Иванов С. А., ред. СПб.: ГУАП; 2011. 188 с.
18. Файзуллин Ф. С., Шагиева Л. А. Социальный потенциал региона как объект социологического анализа. ВестникВЭГУ. 2016;(3):118-124.
19. Шагиева Л. А. Методика измерения тенденций развития социального потенциала регионов. Вестник ВЭГУ. 2015;(6):185-192.
20. Шафиков М. Т. Научно-образовательный потенциал региона: сущность, структура, состояние и ди­намика. Уфа: Гилем, 2002. 106 с.
21. Эфендиева А. А., Темрокова А. Х. Разработка методики комплексного анализа и оценки социально­экономического потенциала региона, основанного на применении метода балльных оценок. Terra Economicus. 2013;11(2-2):102-106.
22. Rissanen J. Modeling by shortest data description. Automatica. 1978;14(5):465-471. DOI: 10.1016/0005- 1098(78)90005-5
23. http://gks.ru
24. http://ru.wikipedia.org
25. http://www.economytula.ru
26. http://www.programs-gov.ru
27. http://gtmarket.ru
28. http://www.bibliofond.ru

---