Avvägning mellan precision och återkallning

Vid klassificeringsuppgifter stöter man ofta på begreppet avvägning mellan precision och återkallning (Precision-Recall trade-off). Var kommer det ifrån?

Vanligtvis tilldelas dokumentet den klass som har högst sannolikhet. Men vad händer om den högsta sannolikheten är 0.1? Bör du anse att dokumentet tillhör den klassen med bara 10 % sannolikhet?

Svaret beror på det specifika problemet. Det går att lägga till ett minimitröskel för att acceptera klassificeringen, och när tröskelvärdet ändras rör sig precision och återkallning i motsatta riktningar.

Variablerna y_true och modellen model är inlästa. Om sannolikheten är lägre än tröskelvärdet tilldelas dokumentet DEFAULT_CLASS (satt till klass 2).

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Övningsinstruktioner

Använd .predict()-metoden för att hämta sannolikheterna för varje klass och lagra dem i variabeln pred_probabilities.
Acceptera den högsta sannolikheten endast om den är större än eller lika med 0.5 och lagra resultaten i variabeln y_pred_50.
Använd funktionerna np.argmax() och np.max() för att göra samma sak med ett tröskelvärde på 0.8.
Skriv ut variabeln trade_off med alla mätvärden.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Get probabilities for each class
pred_probabilities = model.____(X_test)

# Thresholds at 0.5 and 0.8
y_pred_50 = [np.argmax(x) if np.max(x) >= ____ else DEFAULT_CLASS for x in pred_probabilities]
y_pred_80 = [np.____(x) if np.____(x) >= 0.8 else DEFAULT_CLASS for x in pred_probabilities]

trade_off = pd.DataFrame({
    'Precision_50': precision_score(y_true, y_pred_50, average=None), 
    'Precision_80': precision_score(y_true, y_pred_80, average=None), 
    'Recall_50': recall_score(y_true, y_pred_50, average=None), 
    'Recall_80': recall_score(y_true, y_pred_80, average=None)}, 
  index=['Class 1', 'Class 2', 'Class 3'])

____

Redigera och kör kod

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet lär du dig grunderna i återkommande neurala nätverk (RNN). Du börjar med de viktigaste förkunskaperna, fortsätter med att förstå hur information flödar genom nätverket och avslutar med att implementera sådana modeller i Keras för sentimentklassificering.

Exercise 1: Introduktion till kursen Exercise 2: Jämföra antalet parametrar i RNN och ANN Exercise 3: Sentimentanalys Exercise 4: Sekvens-till-sekvens-modeller Exercise 5: Introduktion till språkmodeller Exercise 6: Bekanta dig med textdata Exercise 7: Förbered textdata för modellinmatning Exercise 8: Omvandla ny text Exercise 9: Introduktion till RNN i Keras Exercise 10: Keras-modeller Exercise 11: Förbearbetning i Keras Exercise 12: Din första RNN-modell

Du lär dig om problemen med försvinnande och exploderande gradienter, som ofta uppstår i RNN, och hur du hanterar dem med GRU- och LSTM-celler. Dessutom skapar du inbäddningslager för språkmodeller och återvänder till uppgiften med sentimentklassificering.

Exercise 1: Försvinnande och exploderande gradienter Exercise 2: Problemet med exploderande gradienter Exercise 3: Problemet med försvinnande gradienter Exercise 4: GRU- och LSTM-celler Exercise 5: GRU-celler är bättre än SimpleRNN Exercise 6: Stapla RNN-lager Exercise 7: Inbäddningslagret (Embedding layer)Exercise 8: Jämförelse av antal parametrar Exercise 9: Transferinlärning Exercise 10: Inbäddningar förbättrar prestandan Exercise 11: Sentimentklassificering – en ny titt Exercise 12: Förbättrad sentimentklassificering Exercise 13: Använda CNN-lagret

I det här kapitlet lär du dig att förbereda data för multiklassklassificering samt skillnaderna mellan multiklassklassificering och binär klassificering (sentimentanalys). Slutligen lär du dig att skapa modeller och utvärdera deras prestanda med Keras.

Exercise 1: Dataförbehandling Exercise 2: Förbered etikettsvektorer Exercise 3: Förbehandla data Exercise 4: Transferlärning för språkmodeller Exercise 5: Startpunkt för transferinlärning Exercise 6: Word2Vec Exercise 7: Modeller för flerklass-klassificering Exercise 8: Utforska datamängden 20 News Groups Exercise 9: Klassificering av nyhetsartiklar Exercise 10: Utvärdera modellens prestanda Exercise 11: Avvägning mellan precision och återkallning

Aktuell övning

Exercise 12: Precision eller recall – det är frågan Exercise 13: Prestanda vid flerklasskategorisering

Det här kapitlet introducerar dig till två tillämpningar av RNN-modeller: textgenerering och neural maskinöversättning. Du lär dig att förbereda textdata i det format som modellerna kräver. Textgenereringsmodellen används för att efterlikna en karaktärs sätt att tala – här får du ha lite kul och imitera Sheldon från The Big Bang Theory. Neural maskinöversättning används till exempel av Google Translate i betydligt mer komplexa modeller. I det här kapitlet skapar du en modell som översätter korta portugisiska fraser till engelska.

Exercise 1: Sekvens-till-sekvens-modeller Exercise 2: Exempel på textgenerering Exercise 3: NMT-exempel Exercise 4: Textgenereringsfunktionen Exercise 5: Förutsäg nästa tecken Exercise 6: Generera en mening med kontext Exercise 7: Ändra sannolikhetsskalan Exercise 8: Modeller för textgenerering Exercise 9: Skapa vektorer av meningar och nästa tecken Exercise 10: Förbereda data för träning Exercise 11: Skapa textgenereringsmodellen Exercise 12: Neural maskinöversättning Exercise 13: Förbered indatatexten Exercise 14: Förbereda utdatatexten Exercise 15: Översätt portugisiska till engelska Exercise 16: Grattis!