Доля правильных ответов (Accuracy)

Доля правильных ответов (ДПО) – это коэффициент, характеризующий верность прогноза Модели (Model), отношение правильно спрогнозированных Наблюдений (Observation) к общему их количеству. Рассчитывается показатель с помощью формулы:

$$ДПО\space{измерений}\space{=}\space{\frac{\space{Количество}\space{верных}\space{предсказаний}}{Общее\space{количество}\space{предсказаний}}}$$

Для бинарной классификации (Binary Classification) ДПО также может быть рассчитана с помощью Матрицы ошибок (Confusion Matrix) следующим образом:

$$ДПО\space{=}\space{\frac{ИП + ИН}{ИП + ИН + ОП + ОН}},\space{где}$$
$$ИП\space{–}\space{истинно}\space{позитивные}\space{предсказания}$$
$$ИН\space{–}\space{истинно}\space{негативные}\space{предсказания}$$
$$ОП\space{–}\space{ошибочно}\space{позитивные}\space{предсказания}$$
$$ОН\space{–}\space{ошибочно}\space{негативные}\space{предсказания}$$

Пример. Попробуем рассчитать accuracy модели, которая различает  злокачественные (положительный класс) и доброкачественные (отрицательный класс) опухоли. По результатам последовавшей медицинской проверки оказалось, что модель была права не везде:

Согласно формуле, доля правильных ответов будет равна:

$$ДПО\space{измерений}\space{=}\space{\frac{1 + 90}{1 + 90 + 1 + 8}}\space{=}\space{0,91}$$

По меркам современной "успеваемости" моделей Машинного обучения (ML), мы добились, на первый взгляд, удовлетворительного результата. Но так ли все просто?

На 100 наблюдений 91 доброкачественных и 9 злокачественных.

• Из 91 доброкачественных опухолей 90 обнаружены
• Из 9 злокачественных только 1 диагностирована. Иными словами, 8 из 9 злокачественных опухолей не диагностированы. И в этом суть.

Поскольку способность модели найти злокачественные опухоли – ключевая задача модели, то эффективность в 1/9 (≈0,11) не может быть признана достаточной.

Сама по себе доля правильных ответов не дает полной картины, когда вы работаете с несбалансированным по классам датасетом (Imbalanced Dataset), подобным этому, где количество отрицательных значительно превышает количество положительных меток. Тогда полную картину составят accuracy в сочетании с другими показателями: Точность результата измерений (Precision), Отзыв (Recall), критерий F1 (F1 Score).

Фото: @bermixstudio