1. Nauka
    2. /
  2. Kursy
    3. /
  3. Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras
Connected

ćwiczenie

Kompromis między precyzją a czułością

W zadaniach klasyfikacji często pojawia się pojęcie kompromisu między precyzją a czułością (Precision-Recall trade-off). Skąd się bierze?

Zwykle dokument przypisuje się do klasy o najwyższym prawdopodobieństwie. Ale co, jeśli to maksymalne prawdopodobieństwo wynosi zaledwie 0.1? Czy warto przypisywać dokument do danej klasy przy zaledwie 10-procentowej pewności?

Odpowiedź zależy od konkretnego problemu. Można wprowadzić minimalny próg akceptacji klasyfikacji – zmieniając go, wartości precyzji i czułości przesuwają się w przeciwnych kierunkach.

Zmienne y_true i model model są już wczytane. Jeśli prawdopodobieństwo jest niższe od progu, dokument zostanie przypisany do DEFAULT_CLASS (przyjęto klasę 2).

Instrukcje

100 XP
  • Użyj metody .predict(), aby uzyskać prawdopodobieństwa dla każdej klasy, i zapisz je w zmiennej pred_probabilities.
  • Zaakceptuj maksymalne prawdopodobieństwo tylko wtedy, gdy jest ono większe lub równe 0.5, i zapisz wyniki w zmiennej y_pred_50.
  • Użyj funkcji np.argmax() i np.max(), aby wykonać to samo dla progu równego 0.8.
  • Wyświetl zmienną trade_off ze wszystkimi metrykami.