Разбор данных о собаках
Вы проделали немалую работу по очистке исходного набора данных, и теперь пришло время изучить его глубже. Появился ряд вопросов о породах собак, распознанных на изображениях, и о характеристиках самих изображений. Чтобы ответить на эти вопросы, необходимо привести данные к определённому типу. Для начала потребуется создать схему, которая будет описывать сведения о собаке.
DataFrame joined_df находится в том состоянии, в котором вы его оставили, а все типы из pyspark.sql.types уже импортированы.
Это упражнение является частью курса
Очистка данных с помощью PySpark
Инструкции к упражнению
- Выберите столбец с данными о собаках из DataFrame и выведите первые 10 строк без усечения.
- Создайте новую схему, как вы делали это раньше, используя имена breed, start_x, start_y, end_x и end_y. Укажите подходящий тип данных для каждого поля (все числовые значения являются целыми числами).
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Select the dog details and show 10 untruncated rows
print(joined_df.____.show(____, truncate=____))
# Define a schema type for the details in the dog list
DogType = ____([
StructField("breed", ____, False),
StructField("start_x", ____, False),
____,
____,
____
])