Эпсилон (Epsilon)

Эпсилон (ε, epsilon) – 1. (В статистике) Степень эффекта (Effect Size), используемая для сравнения. 2. (В Машинном обучении) порог некоторых классификаторов (например, sklearn.SGDClassifier), при котором становится менее важным получение точного прогноза.

В статистике

Например, лекарство A лучше, чем лекарство B, при лечении депрессии. Но насколько? Традиционная Проверка гипотез (Hypothesis Testing) не даст вам такого ответа. Лекарство B может быть в десять раз лучше, а может в два. Эта изменчивость (вдвое или в десять раз больше) и есть то, что называется величиной эффекта.

В статистике эпсилон в квадрате является мерой величины эффекта. Это один из наименее распространенных способов определения метрики: омега в квадрате и эта в квадрате используются чаще. Формула оценки эффекта выглядит следующим образом:

$$ε = \frac{SS_M - df_M * MS_E}{SS_T}$$
$$SS_M\space{}{–}\space{сумма}\space{квадратов,}$$
$$df_M\space{}{–}\space{степень}\space{свободы,}$$
$$MS_E\space{}{–}\space{среднее}\space{суммы}\space{квадратов,}$$
$$SS_T\space{}{–}\space{общая}\space{сумма}\space{квадратов,}$$

В Машинном обучении

При нечувствительности к эпсилону любые различия между текущим предсказанием и правильной меткой игнорируются, если они меньше этого порога. К примеру, Стохастический градиентный спуск (SGD), реализованный на scikit-learn, устанавливает epsilon по умолчанию равным 0.1:

X = [[0., 0.], [1., 1.]]
y = [0, 1]
clf = SGDClassifier(loss = "hinge", penalty = "l2", max_iter = 5)
clf.fit(X, y)

Это позволяет неизвестным ранее парам значений (например, [0.95, 0.93]) не ухудшать своими ярлыками предсказательную способность модели:

/usr/local/lib/python3.7/dist-packages/sklearn/linear_model/_stochastic_gradient.py:557: ConvergenceWarning: Maximum number of iteration reached before convergence. Consider increasing max_iter to improve the fit.
  ConvergenceWarning)
SGDClassifier(alpha=0.0001, average=False, class_weight=None,
              early_stopping=False, epsilon=0.1, eta0=0.0, fit_intercept=True,
              l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=5,
              n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
              random_state=None, shuffle=True, tol=0.001,
              validation_fraction=0.1, verbose=0, warm_start=False)

Фото: @betagamma

Автор оригинальной статьи: statisticshowto.com