Leave-one-out-korsvalidering
Anta att din favoritgodis inte finns i candy-datamängden och att du vill uppskatta hur populär den är. Med 5-faldig korsvalidering tränar modellen bara på 80 % av datan åt gången. Candy-datamängden har endast 85 rader, och att utesluta 20 % av datan kan försämra modellen. Leave-one-out-korsvalidering låter dig utnyttja den begränsade datamängden maximalt och ger den bästa uppskattningen av din favoritgodis popularitet!
I den här övningen använder du cross_val_score() för att utföra LOOCV.
Den här övningen är en del av kursen
Modellvalidering i Python
Övningsinstruktioner
- Skapa ett utvärderingsmått med
mean_absolute_errorsomcross_val_score()ska använda. - Fyll i
cross_val_score()så att modellenrfr, det nydefinierademae_scoreroch LOOCV används. - Skriv ut medelvärdet och standardavvikelsen för
scoresmed hjälp avnumpy(inläst somnp).
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
from sklearn.metrics import mean_absolute_error, make_scorer
# Create scorer
mae_scorer = ____(____)
rfr = RandomForestRegressor(n_estimators=15, random_state=1111)
# Implement LOOCV
scores = cross_val_score(____, X=X, y=y, cv=____, scoring=____)
# Print the mean and standard deviation
print("The mean of the errors is: %s." % np.____(____))
print("The standard deviation of the errors is: %s." % np.____(____))