Testare il tuo modello di Machine Learning

Durante lo sviluppo dell’app ML e del modello, produrrai una raccolta di unit test, integration test, load, stress e deployment test.

Non preoccuparti se non conosci già tutti questi tipi di test: ci sono ottime risorse per impararli.

Ma almeno, ricorda il motivo principale per cui dovresti scriverli, ovvero:

Questo esercizio fa parte del corso

Deployment e ciclo di vita in MLOps

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio

Questo esercizio fa parte del corso

Deployment e ciclo di vita in MLOps

AvançadoNível de habilidade

4.8+

Inizia il corso gratuitamente

Questo capitolo offre una panoramica ad alto livello dei principi MLOps e dei componenti del framework importanti per il deployment e il ciclo di vita.

Exercise 1: Il framework MLOps moderno Exercise 2: Workflow di ML Exercise 3: Vantaggi di MLOps Exercise 4: Fasi del ciclo di vita Exercise 5: App vs. modello Exercise 6: Dismissione Exercise 7: Il ciclo di vita del modello: riepilogo Exercise 8: Componenti di MLOps Exercise 9: Sequenza automatizzata Exercise 10: Store e registry Exercise 11: DevOps o MLOps?

Questo capitolo è dedicato a tutte le considerazioni da fare già in fase di sviluppo, per garantirti un percorso fluido quando arriverai alle operations. Il nostro obiettivo finale è spiegare come addestrare il modello seguendo le best practice MLOps e costruire un pacchetto del modello che abiliti un deployment senza intoppi, la riproducibilità e il monitoraggio post-deployment.

Exercise 1: Sviluppo guidato dal deployment Exercise 2: Testare il tuo modello di Machine Learning

Esercizio attuale

Exercise 3: Il momento migliore per iniziare il deployment Exercise 4: Profilazione, versioning e feature store Exercise 5: Proprietà dei feature store Exercise 6: Vantaggi di profiling e feature store Exercise 7: Garantire la riproducibilità Exercise 8: Pipeline di build del modello in CI/CD Exercise 9: Pipeline diverse Exercise 10: Proprietà della model build pipeline Exercise 11: Integrazione CI/CD Exercise 12: Impacchettamento del modello Exercise 13: Formati di modelli Exercise 14: Pacchetto completo

Questo capitolo affronta domande cruciali sulle operazioni del modello, come: - In quali modi possiamo servire i nostri modelli? - Che cos’è un’API e quali sono le sue funzionalità chiave? - Come testiamo a fondo il nostro servizio prima di renderlo disponibile agli utenti finali? - Come aggiorniamo i modelli in produzione senza interrompere il servizio? Imparerai a conoscere le predizioni batch, le predizioni in tempo reale, la validazione dei dati in input e output, i test unitari, i test di integrazione, il canary deployment e molto altro.

Exercise 1: Modalità di serving Exercise 2: Offline o online?Exercise 3: Quando il tempo conta - ma non troppo Exercise 4: Creare l'API Exercise 5: Client-server Exercise 6: Funzionalità dell'API Exercise 7: Progressione del deployment e test Exercise 8: Che test è?Exercise 9: Progressione tra gli ambienti Exercise 10: Test per ambiente Exercise 11: Strategie di deployment del modello Exercise 12: Una strategia di deployment adatta Exercise 13: Ordine di rischio Exercise 14: L'ombra dell'ombra

Questo capitolo finale è dedicato al monitoraggio e alla manutenzione dei servizi ML dopo il deployment, oltre che alla governance del modello. Tratterai concetti fondamentali come verification latency, covariate shift, concept drift, sistemi human-in-the-loop e altro ancora.

Exercise 1: Monitorare i servizi di ML Exercise 2: Shift vs drift Exercise 3: Latenza Exercise 4: Già?Exercise 5: Monitoraggio e avvisi Exercise 6: Il sistema di monitoraggio Exercise 7: Alerting Exercise 8: Manutenzione del modello Exercise 9: Data-centric vs Model-centric Exercise 10: Human-in-the-Loop Exercise 11: Governance del modello Exercise 12: Elementi della governance Exercise 13: Fasi della governance Exercise 14: Classificazione del rischio Exercise 15: Riepilogo