Avaliar o desempenho
Por fim, como sempre, queremos avaliar o desempenho do nosso melhor modelo para verificar quão bem (ou mal) estamos indo. Idealmente, o melhor é fazer backtesting, mas esse é um processo mais complexo que não teremos espaço para cobrir neste curso.
Nós já vimos os escores R\(^2\), mas vamos dar uma olhada no gráfico de dispersão de previsões vs. resultados reais usando matplotlib. Previsões perfeitas seriam uma linha diagonal do canto inferior esquerdo ao superior direito.
Este exercicio faz parte do curso
Machine Learning para Finanças em Python
Instruções do exercicio
- Use o melhor valor de
max_featuresno nossoRandomForestRegressor(rfr) que encontramos no exercício anterior (foi 4). - Faça previsões usando o modelo com
train_featuresetest_features. - Faça o scatter dos alvos reais (train/test_targets) vs. as previsões (train/test_predictions) e rotule os conjuntos de dados como
trainetest.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Use the best hyperparameters from before to fit a random forest model
rfr = RandomForestRegressor(n_estimators=200, max_depth=3, max_features=____, random_state=42)
rfr.fit(train_features, train_targets)
# Make predictions with our model
train_predictions = rfr.predict(____)
test_predictions = ____
# Create a scatter plot with train and test actual vs predictions
plt.scatter(train_targets, train_predictions, label='train')
plt.scatter(____)
plt.legend()
plt.show()