Identifier le model drift

Vous allez maintenant tracer les scores du modèle dans le temps pour visualiser quand le drift survient. En ajoutant la ligne de seuil et les fenêtres glissantes de RMSE, vous verrez comment les lignes d’erreur récentes signalent une dégradation des performances.

Le jeu de données fc_log avec moyennes mobiles calculées, rmse_threshold, et Plotly en tant que go ont été préchargés pour vous.

Cet exercice fait partie du cours

<cours>Concevoir des pipelines de prévision pour la production</cours>

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

p = go.Figure()

# Add RMSE line
p.add_trace(go.Scatter(x=fc_log["forecast_start"], y=fc_log["____"],
                        mode='lines',
                        name='RMSE',
                        line=dict(color='royalblue', width=2)))

# Add the RMSE rolling windows for 7 and 14 days
p.add_trace(go.Scatter(x=fc_log["forecast_start"], y=fc_log["____"],
                        mode='lines',
                        name='7 Days MA',
                        line=dict(color='green', width=2)))

p.add_trace(go.Scatter(x=fc_log["forecast_start"], y=fc_log["____"],
                        mode='lines',
                        name='14 Days MA',
                        line=dict(color='orange', width=2)))

p.add_trace(go.Scatter(x=[fc_log["forecast_start"].min(), fc_log["forecast_start"].max()], 
y=[rmse_threshold, rmse_threshold], 
name="Threshold",
line=dict(color="red", width=2, dash="dash")))

# Add plot titles and show the plot
p.update_layout(title="Forecast Error Rate Over Time",
                xaxis_title="____",
                yaxis_title="____", 
                height=400,
                title_x=0.5,
                margin=dict(t=50, b=50, l=50, r=50))
p.show()

Modifier et exécuter le code