Тестовая и обучающая выборки

После того как данные очищены и подготовлены к моделированию, один из важнейших шагов — разделить их на тестовую и обучающую выборки. После этого не обращайтесь к тестовым данным, пока не будете уверены в качестве модели. В процессе построения моделей и проверки гипотез используйте обучающую выборку, чтобы оценить их эффективность.

Когда наилучшая модель выбрана, можно проверить, насколько точно она предсказывает новые данные из тестовой выборки. Эти «незнакомые» данные дадут гораздо более реалистичное представление о том, как модель будет работать в реальных условиях.

В Spark важно выполнять разбиение данных после всех преобразований. Это связано с тем, что такие операции, как StringIndexer, не всегда присваивают одинаковые индексы даже при одинаковом наборе строк.

Почему при оценке модели важно использовать тестовую выборку?