Hantera oönskade tecken (I)

I den här övningen arbetar du med kolumnen RawSalary i so_survey_df, som innehåller respondenternas löner tillsammans med valutasymboler och kommatecken, till exempel $42,000. När du importerar data från Microsoft Excel stöter du ofta på data i den här formen.

Den här övningen är en del av kursen

Särdragshantering för maskininlärning i Python

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Remove the commas in the column
so_survey_df['RawSalary'] = so_survey_df['RawSalary'].____(',', '')

Redigera och kör kod

Den här övningen är en del av kursen

Särdragshantering för maskininlärning i Python

SkillTag.level.intermediateSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet utforskar du vad särdragshantering är och hur du kommer igång med att tillämpa det på verkliga data. Du läser in, utforskar och visualiserar ett enkätdataset och lär dig därigenom om dess underliggande datatyper och varför dessa påverkar hur du bör skapa dina särdrag. Med hjälp av pandas skapar du nya särdrag från både kategoriska och kontinuerliga kolumner.

Exercise 1: Varför skapa särdrag?Exercise 2: Lär känna dina data Exercise 3: Välja specifika datatyper Exercise 4: Hantera kategoriska särdrag Exercise 5: One-hot-kodning och dummyvariabler Exercise 6: Hantera ovanliga kategorier Exercise 7: Numeriska variabler Exercise 8: Binarisering av kolumner Exercise 9: Gruppera värden i intervall

Det här kapitlet introducerar dig till verkligheten med rörig och ofullständig data. Du lär dig att hitta var din data saknar värden och utforskar flera olika sätt att hantera det. Du använder också strängmanipulering för att hantera oönskade tecken i ditt dataset.

Exercise 1: Varför finns det saknade värden?Exercise 2: Hur gles är min data?Exercise 3: Hitta de saknade värdena Exercise 4: Hantera saknade värden (I)Exercise 5: Listwise-borttagning Exercise 6: Ersätta saknade värden med konstanter Exercise 7: Hantera saknade värden (II)Exercise 8: Fylla i saknade kontinuerliga värden Exercise 9: Imputera värden i prediktiva modeller Exercise 10: Hantera andra dataproblem Exercise 11: Hantera oönskade tecken (I)

Aktuell övning

Exercise 12: Hantera avvikande tecken (II)Exercise 13: Metodkedja

I det här kapitlet fokuserar du på att analysera den underliggande fördelningen av dina data och om den kan påverka din maskininlärningspipeline. Du lär dig att hantera skev data och situationer där extremvärden kan påverka din analys negativt.

Exercise 1: Datadistributioner Exercise 2: Hur ser dina data ut? (I)Exercise 3: Hur ser din data ut? (II)Exercise 4: När behöver du inte transformera dina data?Exercise 5: Skalning och transformationer Exercise 6: Normalisering Exercise 7: Standardisering Exercise 8: Logaritmisk transformation Exercise 9: När kan du använda normalisering?Exercise 10: Ta bort avvikare Exercise 11: Borttagning av extremvärden med procentgränser Exercise 12: Borttagning av statistiska avvikare Exercise 13: Skalning och transformering av ny data Exercise 14: Transformationer för träning och testning (I)Exercise 15: Transformationer för träning och test (II)

I det avslutande kapitlet arbetar du med ostrukturerade textdata och lär dig hur du kan skapa kolumnbaserade särdrag från ett textkorpus. Du jämför hur olika metoder påverkar hur mycket kontext som extraheras från en text, och hur du balanserar behovet av kontext mot risken att skapa för många särdrag.

Exercise 1: Koda text Exercise 2: Städa upp din text Exercise 3: Textegenskaper på hög nivå Exercise 4: Ordfrekvenser Exercise 5: Räkna ord (I)Exercise 6: Räkna ord (II)Exercise 7: Begränsa antalet särdrag Exercise 8: Text till DataFrame Exercise 9: Termfrekvens-invers dokumentfrekvens Exercise 10: Tf-idf Exercise 11: Granska Tf-idf-värden Exercise 12: Transformera osedd data Exercise 13: N-gram Exercise 14: Använda längre n-gram Exercise 15: Hitta de vanligaste orden Exercise 16: Avslutning