Przykład użycia when()
Klauzula when() pozwala na warunkowe modyfikowanie DataFrame na podstawie jego zawartości. Zmodyfikuj DataFrame voter_df, dodając losową liczbę dla każdego członka głosującego z tytułem „Councilmember".
DataFrame voter_df jest już zdefiniowany i dostępny. Biblioteka pyspark.sql.functions jest dostępna jako F. Do wygenerowania losowej wartości użyj metody F.rand().
To ćwiczenie jest częścią kursu
Czyszczenie danych w PySpark
Instrukcje do ćwiczenia
- Dodaj do
voter_dfkolumnę o nazwierandom_valz wynikami metodyF.rand()dla każdego wyborcy z tytułem Councilmember. - Wyświetl kilka wierszy DataFrame i sprawdź, czy klauzula
.when()zadziałała poprawnie.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Add a column to voter_df for any voter with the title **Councilmember**
voter_df = voter_df.____('random_val',
____(____, ____))
# Show some of the DataFrame rows, noting whether the when clause worked
voter_df.____