Test 與 Train

當你清理完資料並準備好建模後，最重要的步驟之一就是把資料分成「測試集」與「訓練集」。接著，在你覺得模型已經足夠成熟之前，都不要碰測試資料！在你建立模型和形成假設的過程中，可以先用訓練資料來評估表現，取得初步的概念。

等你選定最滿意的模型後，再來看看它在測試集這批新資料上的預測效果。這批從未見過的資料，能更真實地反映模型在現實情境中用來預測或分類新資料時的表現。

在 Spark 中，務必在「所有轉換完成之後」再進行資料切分。原因是像 StringIndexer 這類操作，即使輸入相同的字串清單，產生的索引也不一定相同。

為什麼在模型評估中使用測試集很重要？