Поділ на train/test
Щоб об'єктивно оцінити модель машинного навчання, її потрібно перевірити на незалежному наборі даних. Не можна використовувати ті самі дані, на яких ви навчали модель: звісно, на них вона працюватиме (відносно) добре!
Ви поділите дані на дві частини:
- тренувальні дані (для навчання моделі) та
- тестові дані (для перевірки моделі).
Примітка. Далі ви працюватимете з меншим піднабором даних про перельоти, щоб вправи виконувалися швидше.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Випадково розбийте дані
flightsна дві вибірки у пропорції 80:20. Для відтворюваності встановіть значенняseedрівним 43 під час поділу. - Перевірте, що в тренувальній вибірці приблизно 80% записів від початкових даних.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Split into training and testing sets in a 80:20 ratio
flights_train, flights_test = flights.____(____, ____)
# Check that training set has around 80% of records
training_ratio = flights_train.____() / ____.____()
print(training_ratio)