Interpretare i risultati

In questo scenario, hai implementato con successo il tuo algoritmo di stima delle performance in un ambiente di produzione. Di conseguenza, hai un grafico della metrica ROC AUC stimata.

Il tuo compito ora è selezionare le informazioni corrette in base al grafico riguardo a:

periodo del blocco (chunk) - un singolo punto dati nei risultati di monitoraggio
soglia superiore
soglia inferiore
il nome del mese in cui viene attivato un avviso di performance

Questo esercizio fa parte del corso

Monitoraggio del Machine Learning in Python

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio

Questo esercizio fa parte del corso

Monitoraggio del Machine Learning in Python

AvançadoNível de habilidade

4.8+

Inizia il corso gratuitamente

In questo capitolo farai conoscenza con la libreria NannyML e le sue funzioni fondamentali. Per iniziare, imparerai a preparare i dati grezzi per creare i set di riferimento e di analisi pronti per il monitoraggio in produzione. Come esempio pratico, analizzerai la previsione della mancia per le corse in taxi a New York. Verso la fine del capitolo scoprirai anche come stimare le prestazioni del modello di previsione della mancia usando NannyML.

Exercise 1: Che cos'è NannyML?Exercise 2: Funzionalità chiave di NannyML Exercise 3: Carica l'insieme di dati Exercise 4: Preparazione dei dati per NannyML Exercise 5: Periodo di riferimento o di analisi?Exercise 6: Caricamento e suddivisione dei dati Exercise 7: Creazione dei set di riferimento e di analisi Exercise 8: Stima delle prestazioni Exercise 9: Specifica l'algoritmo e il tipo di problema Exercise 10: Interpretare i risultati

Esercizio attuale

Exercise 11: Flusso di lavoro CBPE e DLE Exercise 12: Stima delle prestazioni per la previsione della mancia

In questo capitolo ti verranno presentati i calcolatori di prestazioni realizzate da usare quando le etichette (ground truth) diventano disponibili. Imparerai metodi più avanzati per gestire i risultati, tra cui filtraggio, visualizzazione, conversione in data frame, suddivisione in blocchi (chunking) e definizione di soglie personalizzate. Infine, applicherai queste conoscenze per calcolare il valore per il business di un modello addestrato sul dataset delle prenotazioni alberghiere.

Exercise 1: Quando le etichette sono disponibili Exercise 2: Quando la stima delle prestazioni è errata Exercise 3: Confrontare performance stimate e realizzate Exercise 4: Lavorare con risultati calcolati ed estimati Exercise 5: Metodi di suddivisione (chunking) diversi Exercise 6: Modificare le soglie Exercise 7: Interagire con i risultati Exercise 8: Calcolo e stima del valore di business Exercise 9: Calcolo del valore di business Exercise 10: Calò del valore monetario Exercise 11: Calcolo del valore aziendale per il dataset delle prenotazioni alberghiere

Dopo aver rilevato il degrado delle prestazioni nel modello per le prenotazioni alberghiere, imparerai a identificare il problema alla base di questo calo. In questo capitolo ti verranno presentati metodi di rilevamento del drift multivariato e univariato. Imparerai anche a individuare problemi di qualità dei dati e come affrontare le cause sottostanti che rilevi.

Exercise 1: Rilevamento del drift multivariato Exercise 2: Individuare i drift rilevanti Exercise 3: Drift nell'insieme di dati delle prenotazioni di hotel Exercise 4: Rilevamento del drift univariato Exercise 5: Rilevamento del drift univariato per l'insieme di dati delle prenotazioni hotel Exercise 6: Classificare i risultati univariati Exercise 7: Visualizzare le feature in drift Exercise 8: Controlli di qualità dei dati e delle statistiche Exercise 9: Controlli di qualità dei dati Exercise 10: Statistiche riassuntive Exercise 11: Risoluzione dei problemi Exercise 12: Qual è la soluzione?Exercise 13: Dovresti non fare nulla o no?Exercise 14: Implementare un flusso di monitoraggio Exercise 15: Congratulazioni