Применение UDF к векторным данным
В консоли доступен датафрейм df со столбцом output типа vector. Первые пять строк отображены в консоли.
Также доступен UDF get_first_udf, который выбирает первый элемент векторного столбца.
Это упражнение является частью курса
Введение в Spark SQL на Python
Инструкции к упражнению
- Создайте новый датафрейм
df_new, добавив вdfновый столбец с именемlabel. - Выведите первые пять строк
df_new.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Add label by applying the get_first_udf to output column
df_new = df.____('____', ____('____'))
# Show the first five rows
df_new.____