Leave-one-out cross-validation
Představ si, že tvoje oblíbená sladkost v candy datasetu chybí a ty chceš odhadnout její popularitu. 5-násobná křížová validace by model trénovala vždy jen na 80 % dat. Candy dataset má ale pouhých 85 řádků, a vynechání 20 % dat by mohlo náš model poškodit. Leave-one-out cross-validation nám umožní vytěžit maximum z omezeného datasetu a poskytne nejlepší odhad popularity tvé oblíbené sladkosti!
V tomto cvičení použiješ cross_val_score() k provedení LOOCV.
Toto cvičení je součástí kurzu
Validace modelů v Pythonu
Pokyny k cvičení
- Vytvoř scorer pomocí
mean_absolute_error, který budecross_val_score()používat. - Doplň
cross_val_score()tak, aby používal modelrfr, nově definovanýmae_scorera LOOCV. - Vypiš průměr a směrodatnou odchylku
scorespomocínumpy(načteného jakonp).
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
from sklearn.metrics import mean_absolute_error, make_scorer
# Create scorer
mae_scorer = ____(____)
rfr = RandomForestRegressor(n_estimators=15, random_state=1111)
# Implement LOOCV
scores = cross_val_score(____, X=X, y=y, cv=____, scoring=____)
# Print the mean and standard deviation
print("The mean of the errors is: %s." % np.____(____))
print("The standard deviation of the errors is: %s." % np.____(____))