Пример использования when()
Конструкция when() позволяет условно изменять DataFrame в зависимости от его содержимого. Вам нужно добавить в DataFrame voter_df случайное число для всех членов голосования с должностью «Councilmember».
DataFrame voter_df уже определён и доступен для работы. Библиотека pyspark.sql.functions подключена под псевдонимом F. Для генерации случайного значения используйте F.rand().
Это упражнение является частью курса
Очистка данных с помощью PySpark
Инструкции к упражнению
- Добавьте в
voter_dfстолбецrandom_val, который содержит результат методаF.rand()для всех избирателей с должностью Councilmember. - Выведите несколько строк DataFrame и убедитесь, что конструкция
.when()сработала корректно.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Add a column to voter_df for any voter with the title **Councilmember**
voter_df = voter_df.____('random_val',
____(____, ____))
# Show some of the DataFrame rows, noting whether the when clause worked
voter_df.____