Začněte nyníZačněte zdarma

Celkové hodnocení

Přesnost a úplnost mohou mít různou váhu, a proto je F-beta skóre důležitou evaluační metrikou. ROC křivka a plocha pod ní (AUC) jsou pak užitečným doplňkem k přesnosti a úplnosti – jak jsi viděl/a dříve, model může mít vysoké AUC, ale nízkou přesnost. V tomto cvičení vypočítáš úplnou sadu evaluačních metrik pro každý klasifikátor.

K dispozici máš funkci print_estimator_name(), která vrátí název každého klasifikátoru. V pracovním prostoru jsou dostupné proměnné X_train, y_train, X_test, y_test a příznaky jsou již standardizovány. Dostupné jsou také pandas jako pd a sklearn.

Toto cvičení je součástí kurzu

Předpovídání CTR pomocí Machine Learning v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Definuj MLP klasifikátor s jednou skrytou vrstvou o 10 neuronech a maximálně 50 iteracemi.
  • Natrénuj a proveď predikce pro každý klasifikátor.
  • Pomocí implementací z sklearn vypočítej přesnost, úplnost, F-beta skóre a AUC hodnotu ROC křivky.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create classifiers
clfs = [LogisticRegression(), DecisionTreeClassifier(), RandomForestClassifier(), 
        ____(____ = (10, ), ____ = 50)]

# Produce all evaluation metrics for each classifier
for clf in clfs:
  print("Evaluating classifier: %s" %(print_estimator_name(clf)))
  y_score = clf.fit(X_train, y_train).____(X_test)
  y_pred = clf.fit(X_train, y_train).____(X_test)
  prec = ____(y_test, y_pred, average = 'weighted')
  recall = ____(y_test, y_pred, average = 'weighted')
  fbeta = ____(y_test, y_pred, beta = 0.5, average = 'weighted')
  roc_auc = ____(y_test, y_score[:, 1])
  print("Precision: %s: Recall: %s, F-beta score: %s, AUC of ROC curve: %s" 
        %(prec, recall, fbeta, roc_auc))
Upravit a spustit kód