Boosting

Nell’ultimo esercizio hai iniziato con le tecniche di ensemble usando il bagging. In un colloquio di Machine Learning, potresti essere invitato a provare o discutere più di una tecnica di ensemble.

Qui metterai in pratica il Boosting, che usa tutti i dati per addestrare ogni learner, ma assegna un peso maggiore alle istanze classificate in modo errato dai learner precedenti, così che quelli successivi vi prestino più attenzione durante l’addestramento. Il risultato è un modello con bias ridotto.

Tutti i pacchetti necessari sono già stati importati per te: pandas come pd, train_test_split da sklearn.model_selection, accuracy_score da sklearn.linear_model, LogisticRegression da sklearn.linear_model, e BaggingClassifier e AdaBoostClassifier da sklearn.ensemble.

Il DataFrame loan_data è già suddiviso in X_train, X_test, y_train e y_test.