Test vs. träning

När du har rensat dina data och gjort dem redo för modellering är ett av de viktigaste stegen att dela upp dem i en testmängd och en träningsmängd. Rör sedan inte testdatan förrän du tror att du har en bra modell! Medan du bygger modeller och testar hypoteser kan du utvärdera dem mot träningsdatan för att få en uppfattning om hur de presterar.

När du har hittat din favoritmodell kan du se hur väl den förutsäger nya data i testmängden. Den här datan, som modellen aldrig har sett tidigare, ger dig en betydligt mer realistisk bild av hur modellen presterar i verkligheten – när du försöker förutsäga eller klassificera nya data.

I Spark är det viktigt att dela upp datan efter alla transformationer. Det beror på att operationer som StringIndexer inte alltid ger samma index, även om de får samma lista med strängar.

Varför är det viktigt att använda en testmängd vid modellutvärdering?