Grid search
L'hyperparameter tuning può essere eseguito con sklearn fornendo vari parametri di input, ciascuno dei quali può essere definito usando diverse funzioni di numpy. Un metodo di tuning, che esamina in modo esaustivo tutte le combinazioni degli iperparametri specificati tramite param_grid, è la grid search. In questo esercizio userai la grid search per esplorare gli iperparametri di un random forest classifier di esempio, usando come funzione di scoring l'AUC della curva ROC.
X_train, y_train, X_test, y_test sono disponibili nel tuo workspace. pandas come pd, numpy come np e sklearn sono anch'essi disponibili. Inoltre, GridSearchCV() da sklearn.model_selection è disponibile.
Questo esercizio fa parte del corso
Prevedere il CTR con il Machine Learning in Python
Istruzioni dell'esercizio
- Crea l'elenco di valori per ciascun iperparametro in
n_estimatorsemax_depth. - Crea un random forest classifier.
- Configura una grid search per iterare su tutte le combinazioni di iperparametri.
- Stampa il miglior punteggio AUC usando
.best_score_e il miglior stimatore che ha portato a questo punteggio usando.best_estimator_.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Create list of hyperparameters
n_estimators = [10, 50]
max_depth = [5, 20]
param_grid = {'n_estimators': ____, 'max_depth': ____}
# Use Grid search CV to find best parameters
print("starting RF grid search.. ")
rf = ____()
clf = ____(estimator = rf, param_grid = ____, scoring = 'roc_auc')
clf.fit(X_train, y_train)
print("Best Score: ")
print(clf.____)
print("Best Estimator: ")
print(clf.____)