Разделение на обучающую и тестовую выборки
Чтобы объективно оценить модель машинного обучения, необходимо проверить её на независимых данных. Нельзя использовать для проверки те же данные, на которых обучалась модель: на них она заведомо покажет хорошие результаты!
Вы разделите данные на две части:
- обучающая выборка (используется для обучения модели) и
- тестовая выборка (используется для проверки модели).
Примечание: Далее вы будете работать с меньшим подмножеством данных о рейсах — это позволит упражнениям выполняться быстрее.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Случайным образом разделите данные
flightsна две выборки в пропорции 80:20. Для воспроизводимости результатов задайте начальное значение генератора случайных чисел равным 43. - Убедитесь, что обучающая выборка содержит примерно 80% записей исходного набора данных.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Split into training and testing sets in a 80:20 ratio
flights_train, flights_test = flights.____(____, ____)
# Check that training set has around 80% of records
training_ratio = flights_train.____() / ____.____()
print(training_ratio)