Визначте метрику змагання
Метрики змагання Kaggle використовує для оцінювання ваших відправлень. Крім того, вам також потрібно вимірювати якість різних моделей на локальній валідаційній вибірці.
Зараз ваша мета — вручну реалізувати кілька метрик змагання на випадок, якщо їх немає в sklearn.metrics.
Зокрема, ви визначите:
Середньоквадратичну помилку (MSE) для задачі регресії: $$MSE = \frac{1}{N}\sum_{i=1}^{N}{(y_i - \hat{y}_i)^2}$$
Логарифмічні втрати (LogLoss) для задачі бінарної класифікації: $$LogLoss = -\frac{1}{N}\sum_{i=1}^{N}{(y_i\ln p_i + (1-y_i)\ln (1-p_i))}$$
Ця вправа є частиною курсу
Як перемагати в змаганнях Kaggle за допомогою Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
import numpy as np
# Import MSE from sklearn
from sklearn.metrics import mean_squared_error
# Define your own MSE function
def own_mse(y_true, y_pred):
# Raise differences to the power of 2
squares = np.____(y_true - y_pred, 2)
# Find mean over all observations
err = np.____(squares)
return err
print('Sklearn MSE: {:.5f}. '.format(mean_squared_error(y_regression_true, y_regression_pred)))
print('Your MSE: {:.5f}. '.format(own_mse(y_regression_true, y_regression_pred)))