Базова лінія
Оцінювати класифікатор відносно відповідної базової лінії важливо. Це особливо справедливо для незбалансованих наборів даних, як-от кліки за оголошеннями, адже високу accuracy легко отримати, завжди обираючи мажоритарний клас. У цій вправі ви змоделюєте базовий класифікатор, який завжди передбачає мажоритарний клас (без кліку), і розглянете його матрицю змішування, а також його precision і recall.
X_train, y_train, X_test, y_test доступні у вашому середовищі. pandas як pd, numpy як np та sklearn також доступні у вашому середовищі.
Ця вправа є частиною курсу
Прогнозування CTR за допомогою машинного навчання в Python
Інструкції до вправи
- Створіть
y_pred— масив із нулів тієї самої довжини, що йX_test, за допомогоюnp.asarray(). - Виведіть отриману матрицю змішування.
- Отримайте значення precision та recall.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Set up baseline predictions
y_pred = np.____([0 for x in range(len(X_test))])
# Look at confusion matrix
print("Confusion matrix: ")
print(____(y_test, y_pred))
# Check precision and recall
prec = ____(y_test, y_pred, average = 'weighted')
recall = ____(y_test, y_pred, average = 'weighted')
print("Precision: %s, Recall: %s" %(prec, recall))