Medir o desempenho
Agora que ajustamos nossa rede neural, vamos avaliar o desempenho para ver quão bem o modelo está prevendo novos valores. Não há um método .score() embutido como nos modelos do sklearn, então usaremos a função r2_score() de sklearn.metrics. Ela calcula o escore R\(^2\) dados os argumentos (y_true, y_predicted). Também vamos plotar novamente nossas previsões versus os valores reais. Em breve isso vai gerar resultados interessantes (assim que implementarmos nossa própria função de perda personalizada).
Este exercicio faz parte do curso
Machine Learning para Finanças em Python
Instruções do exercicio
- Obtenha as previsões do
model_1no conjunto de teste escalonado (scaled_test_featuresetest_targets). - Imprima o escore R\(^2\) no conjunto de teste (
test_targetsetest_preds). - Plote
test_predsversustest_targetsem um gráfico de dispersão complt.scatter().
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
from sklearn.metrics import r2_score
# Calculate R^2 score
train_preds = model_1.predict(scaled_train_features)
test_preds = model_1.predict(____)
print(r2_score(train_targets, train_preds))
print(r2_score(____, ____))
# Plot predictions vs actual
plt.scatter(train_preds, train_targets, label='train')
plt.scatter(____)
plt.legend()
plt.show()