Вы подписаны на Машинное обучение доступно
Отлично! завершите оплату для полного доступа к Машинное обучение доступно
Снова приветствуем Вас! Вы успешно авторизовались
Успех! Аккаунт активирован, и Вы имеете полный доступ к контенту.
Точность измерений (Accuracy)

Точность измерений (Accuracy)

in

Точность измерений – это коэффициент, характеризующий верность прогноза Модели (Model), отношение правильно спрогнозированных Наблюдений (Observation) к общему их количеству. Рассчитывается показатель с помощью формулы:

$$Точность\space{измерений}\space{=}\space{\frac{\space{Количество}\space{верных}\space{предсказаний}}{Общее\space{количество}\space{предсказаний}}}$$

Для бинарной классификации (Binary Classification) точность также может быть рассчитана с помощью Матрицы ошибок (Confusion Matrix) следующим образом:

$$Точность\space{=}\space{\frac{ИП + ИН}{ИП + ИН + ОП + ОН}},\space{где}$$
$$ИП\space{–}\space{истинно}\space{позитивные}\space{предсказания}$$
$$ИН\space{–}\space{истинно}\space{негативные}\space{предсказания}$$
$$ОП\space{–}\space{ошибочно}\space{позитивные}\space{предсказания}$$
$$ОН\space{–}\space{ошибочно}\space{негативные}\space{предсказания}$$

Пример. Попробуем рассчитать точность модели, которая различает  злокачественные (положительный класс) и доброкачественные (отрицательный класс) опухоли. По результатам последовавшей медицинской проверки оказалось, что модель была права не везде:

Согласно формуле, точность будет равна:

$$Точность\space{измерений}\space{=}\space{\frac{1 + 90}{1 + 90 + 1 + 8}}\space{=}\space{0,91}$$

По меркам современной "успеваемости" моделей Машинного обучения (ML), мы добились, на первый взгляд, удовлетворительного результата. Но так ли все просто?

На 100 Наблюдений (Observation) 91 доброкачественных и 9 злокачественных.

  • Из 91 доброкачественных опухолей 90 обнаружены
  • Из 9 злокачественных только 1 диагностирована. Иными словами, 8 из 9 злокачественных опухолей не диагностированы. И в этом суть.

Поскольку способность модели найти злокачественные опухоли – ключевая задача модели, то эффективность в 1/9 (≈0,11) не может быть признана достаточной.

Сама по себе точность измерений не дает полной картины, когда вы работаете с несбалансированным по классам датасетом (Imbalanced Dataset), подобным этому, где количество отрицательных значительно превышает количество положительных меток. Тогда полную картину составят точность в сочетании с другими показателями: Точность результата измерений (Precision), Отзыв (Recall), критерий F1 (F1 Score).

Фото: @bermixstudio