Imputera värden i prediktiva modeller

När du arbetar med prediktiva modeller har du ofta separata tränings- och test-DataFrames. I sådana fall vill du säkerställa att ingen information från testsetet läcker in i träningssetet. Hur bör du hantera de två datamängderna när du fyller i saknade värden?

Den här övningen är en del av kursen

Särdragshantering för maskininlärning i Python

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Särdragshantering för maskininlärning i Python

SkillTag.level.intermediateSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet utforskar du vad särdragshantering är och hur du kommer igång med att tillämpa det på verkliga data. Du läser in, utforskar och visualiserar ett enkätdataset och lär dig därigenom om dess underliggande datatyper och varför dessa påverkar hur du bör skapa dina särdrag. Med hjälp av pandas skapar du nya särdrag från både kategoriska och kontinuerliga kolumner.

Exercise 1: Varför skapa särdrag?Exercise 2: Lär känna dina data Exercise 3: Välja specifika datatyper Exercise 4: Hantera kategoriska särdrag Exercise 5: One-hot-kodning och dummyvariabler Exercise 6: Hantera ovanliga kategorier Exercise 7: Numeriska variabler Exercise 8: Binarisering av kolumner Exercise 9: Gruppera värden i intervall

Det här kapitlet introducerar dig till verkligheten med rörig och ofullständig data. Du lär dig att hitta var din data saknar värden och utforskar flera olika sätt att hantera det. Du använder också strängmanipulering för att hantera oönskade tecken i ditt dataset.

Exercise 1: Varför finns det saknade värden?Exercise 2: Hur gles är min data?Exercise 3: Hitta de saknade värdena Exercise 4: Hantera saknade värden (I)Exercise 5: Listwise-borttagning Exercise 6: Ersätta saknade värden med konstanter Exercise 7: Hantera saknade värden (II)Exercise 8: Fylla i saknade kontinuerliga värden Exercise 9: Imputera värden i prediktiva modeller

Aktuell övning

Exercise 10: Hantera andra dataproblem Exercise 11: Hantera oönskade tecken (I)Exercise 12: Hantera avvikande tecken (II)Exercise 13: Metodkedja

I det här kapitlet fokuserar du på att analysera den underliggande fördelningen av dina data och om den kan påverka din maskininlärningspipeline. Du lär dig att hantera skev data och situationer där extremvärden kan påverka din analys negativt.

Exercise 1: Datadistributioner Exercise 2: Hur ser dina data ut? (I)Exercise 3: Hur ser din data ut? (II)Exercise 4: När behöver du inte transformera dina data?Exercise 5: Skalning och transformationer Exercise 6: Normalisering Exercise 7: Standardisering Exercise 8: Logaritmisk transformation Exercise 9: När kan du använda normalisering?Exercise 10: Ta bort avvikare Exercise 11: Borttagning av extremvärden med procentgränser Exercise 12: Borttagning av statistiska avvikare Exercise 13: Skalning och transformering av ny data Exercise 14: Transformationer för träning och testning (I)Exercise 15: Transformationer för träning och test (II)

I det avslutande kapitlet arbetar du med ostrukturerade textdata och lär dig hur du kan skapa kolumnbaserade särdrag från ett textkorpus. Du jämför hur olika metoder påverkar hur mycket kontext som extraheras från en text, och hur du balanserar behovet av kontext mot risken att skapa för många särdrag.

Exercise 1: Koda text Exercise 2: Städa upp din text Exercise 3: Textegenskaper på hög nivå Exercise 4: Ordfrekvenser Exercise 5: Räkna ord (I)Exercise 6: Räkna ord (II)Exercise 7: Begränsa antalet särdrag Exercise 8: Text till DataFrame Exercise 9: Termfrekvens-invers dokumentfrekvens Exercise 10: Tf-idf Exercise 11: Granska Tf-idf-värden Exercise 12: Transformera osedd data Exercise 13: N-gram Exercise 14: Använda längre n-gram Exercise 15: Hitta de vanligaste orden Exercise 16: Avslutning