Test vs. Train

Після того як ви очистили дані та підготували їх до моделювання, один із найважливіших кроків — розбити дані на тестову вибірку та тренувальну вибірку. Після цього не торкайтесь тестових даних, доки не вважатимете, що маєте добру модель! Під час побудови моделей і висування гіпотез ви можете перевіряти їх на тренувальних даних, щоб оцінити їхню ефективність.

Коли оберете улюблену модель, подивіться, наскільки добре вона прогнозує нові дані у вашій тестовій вибірці. Ці дані, яких модель раніше не бачила, дадуть значно реалістичніше уявлення про її роботу в реальних умовах, коли ви намагаєтеся передбачати чи класифікувати нові спостереження.

У Spark важливо переконатися, що ви ділите дані після всіх перетворень. Це тому, що такі операції, як StringIndexer, не завжди повертають однакові індекси, навіть якщо подати той самий список рядків.

Чому важливо використовувати тестову вибірку під час оцінювання моделі?