Umgang mit unerwünschten Zeichen (I)

In dieser Übung arbeitest du mit der Spalte RawSalary aus so_survey_df. Sie enthält die Gehälter der Teilnehmenden zusammen mit Währungssymbolen und Kommas, zum Beispiel $42,000. Beim Import aus Microsoft Excel triffst du häufig auf Daten in genau diesem Format.

Diese Übung ist Teil des Kurses

Feature Engineering für Machine Learning in Python

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Remove the commas in the column
so_survey_df['RawSalary'] = so_survey_df['RawSalary'].____(',', '')

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Feature Engineering für Machine Learning in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel lernst du, was Feature Engineering ist und wie du damit bei realen Daten loslegst. Du lädst, erkundest und visualisierst einen Datensatz mit Umfrageantworten und lernst dabei die zugrunde liegenden Datentypen kennen und warum sie beeinflussen, wie du deine Features entwickeln solltest. Mit dem Paket pandas erstellst du neue Features aus kategorialen und kontinuierlichen Spalten.

Exercise 1: Warum Features erstellen?Exercise 2: Lerne deinen Datensatz kennen Exercise 3: Bestimmte Datentypen auswählen Exercise 4: Umgang mit kategorialen Features Exercise 5: One-Hot-Encoding und Dummy-Variablen Exercise 6: Mit seltenen Kategorien umgehen Exercise 7: Numerische Variablen Exercise 8: Spalten binarisieren Exercise 9: Werte in Bins einteilen

Dieses Kapitel führt dich in die Realität unordentlicher und unvollständiger Daten ein. Du lernst, fehlende Werte in deinen Daten zu finden, und erkundest verschiedene Ansätze, wie du damit umgehst. Außerdem nutzt du String-Manipulationstechniken, um unerwünschte Zeichen in deinem Datensatz zu bereinigen.

Exercise 1: Warum gibt es fehlende Werte?Exercise 2: Wie lückenhaft sind meine Daten?Exercise 3: Fehlende Werte finden Exercise 4: Umgang mit fehlenden Werten (I)Exercise 5: Listweises Löschen Exercise 6: Fehlende Werte durch Konstanten ersetzen Exercise 7: Umgang mit fehlenden Werten (II)Exercise 8: Kontinuierliche fehlende Werte auffüllen Exercise 9: Werte in prädiktiven Modellen imputieren Exercise 10: Mit weiteren Datenproblemen umgehen Exercise 11: Umgang mit unerwünschten Zeichen (I)

Aktuelle Übung

Exercise 12: Umgang mit Fremdzeichen (II)Exercise 13: Method Chaining

In diesem Kapitel konzentrierst du dich auf die Analyse der zugrunde liegenden Verteilung deiner Daten und darauf, ob sie sich auf deine Machine-Learning-Pipeline auswirkt. Du lernst, wie du mit schief verteilten Daten umgehst und mit Situationen, in denen Ausreißer deine Analyse negativ beeinflussen könnten.

Exercise 1: Datenverteilungen Exercise 2: Wie sehen deine Daten aus? (I)Exercise 3: Wie sehen deine Daten aus? (II)Exercise 4: Wann musst du deine Daten nicht transformieren?Exercise 5: Skalierung und Transformationen Exercise 6: Normalisierung Exercise 7: Standardisierung Exercise 8: Log-Transformation Exercise 9: Wann kannst du Normalisierung verwenden?Exercise 10: Ausreißer entfernen Exercise 11: Prozentbasierte Ausreißerentfernung Exercise 12: Statistisches Entfernen von Ausreißern Exercise 13: Neue Daten skalieren und transformieren Exercise 14: Transformationen für Training und Test (I)Exercise 15: Transformationen für Training und Test (II)

Zum Schluss arbeitest du in diesem Kapitel mit unstrukturierten Textdaten und lernst, wie du daraus spaltenweise Features erzeugen kannst. Du vergleichst, wie sich unterschiedliche Ansätze darauf auswirken, wie viel Kontext aus einem Text extrahiert wird, und wie du den Bedarf an Kontext mit der Anzahl der erzeugten Features in Einklang bringst.

Exercise 1: Text encodieren Exercise 2: Deinen Text bereinigen Exercise 3: Textfeatures auf hoher Ebene Exercise 4: Worthäufigkeiten Exercise 5: Wörter zählen (I)Exercise 6: Wörter zählen (II)Exercise 7: Featureanzahl begrenzen Exercise 8: Text zu DataFrame Exercise 9: Termfrequenz–inverse Dokumentfrequenz Exercise 10: Tf-idf Exercise 11: Tf-idf-Werte untersuchen Exercise 12: Ungesehene Daten transformieren Exercise 13: N-Gramme Exercise 14: Längere n-Gramme verwenden Exercise 15: Die häufigsten Wörter finden Exercise 16: Zusammenfassung