Test vs. Antrenament

După ce ai curățat datele și le-ai pregătit pentru modelare, unul dintre cei mai importanți pași este să le împarți într-un set de testare și un set de antrenament. După aceea, nu mai atinge datele de testare până nu crezi că ai obținut un model bun! Pe măsură ce construiești modele și formulezi ipoteze, le poți testa pe datele de antrenament pentru a-ți face o idee despre performanța lor.

Odată ce ai ales modelul preferat, poți vedea cât de bine prezice datele noi din setul de testare. Aceste date, pe care modelul nu le-a mai văzut, îți vor oferi o imagine mult mai realistă a performanței lui în lumea reală, atunci când încerci să prezici sau să clasifici date noi.

În Spark este important să te asiguri că împarți datele după toate transformările. Acest lucru se datorează faptului că operații precum StringIndexer nu produc întotdeauna același index, chiar și atunci când primesc aceeași listă de șiruri.

De ce este important să folosești un set de testare în evaluarea modelului?