Crearea unui pipeline DVC

Imagine-ți un exemplu simplu de flux de lucru în care un document este tipărit și apoi scanat pentru a crea un PDF semnat, DVC gestionând dependențele și rezultatele fiecărei etape.

Etapa print depinde de instrucțiunile de tipărire din print.sh și produce rezultatul pages. Etapa scan depinde de instrucțiunile din scan.sh și de pages (rezultatul etapei printer) și produce rezultatul signed.pdf.

Sarcina ta este să proiectezi un pipeline DVC care să descrie acest flux de lucru folosind comanda dvc stage add. Sintaxa sa este:

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Poți adăuga mai multe dependențe și rezultate folosind de mai multe ori indicatorii -d și, respectiv, -o.

NOTĂ: DVC a fost deja inițializat în configurarea exercițiului. Nu este nevoie să rulezi dvc init din nou.

Acest exercițiu face parte din cursul

CI/CD pentru Machine Learning

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

CI/CD pentru Machine Learning

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei explora principiile esențiale ale Continuous Integration/Continuous Delivery (CI/CD) și YAML. Vei înțelege ciclul de viață al dezvoltării software și termeni-cheie precum build, test și deploy. Vei descoperi diferențele dintre Integrarea Continuă, Livrarea Continuă și Deployment-ul Continuu. În plus, vei investiga importanța CI/CD în machine learning și experimentare.

Exercise 1: Introducere în Continuous Integration/Continuous Delivery pentru Machine Learning Exercise 2: Implementarea continuă și livrarea continuă Exercise 3: Fluxul de lucru în machine learning Exercise 4: Introducere în YAML Exercise 5: Sintaxa YAML Exercise 6: Mapări și secvențe YAML Exercise 7: Introducere în GitHub Actions Exercise 8: Utilitatea GitHub Actions Exercise 9: Anatomia GitHub Actions

Pregătește-te să explorezi GitHub Actions (GHA), o platformă influentă pentru executarea fluxurilor CI/CD. Vei descoperi componentele diverse ale GHA, care includ evenimente, acțiuni, joburi, pași, runnere și context. Vei înțelege cum să creezi fluxuri de lucru care se activează la evenimente precum push și pull request și cum să personalizezi mașinile runner. Vei învăța practic cum să configurezi pipeline-uri CI de bază și să înțelegi detaliile log-ului GHA.

Exercise 1: YAML intermediar Exercise 2: Găsește combinația corectă Exercise 3: Proiectează un flux de lucru pentru Integrare Continuă Exercise 4: Configurarea unui pipeline CI de bază Exercise 5: Interpretează un workflow GitHub Actions Exercise 6: Scrie un workflow GitHub Actions Exercise 7: Rularea codului din repozitoriu Exercise 8: Branch-urile de funcționalitate în modelul de depozit partajat Exercise 9: Rularea codului Python în GitHub Actions Exercise 10: Variabile de mediu și secrete Exercise 11: Ce este GITHUB_TOKEN?Exercise 12: Lucrul cu variabile de mediu Exercise 13: Lucrul cu secrete

În acest capitol, vei explora integrarea antrenamentului modelelor de machine learning într-un pipeline GitHub Actions folosind acțiunea Continuous Machine Learning. Vei genera un raport markdown detaliat care include metrici și grafice ale modelului. Vei aprofunda și versionarea datelor în machine learning, adoptând Data Version Control (DVC) pentru a urmări modificările datelor. Capitolul acoperă, de asemenea, configurarea remote-urilor DVC și transferul seturilor de date. În final, vei explora pipeline-urile DVC, configurând un fișier YAML DVC pentru a orchestra antrenamentul reproductibil al modelelor.

Exercise 1: Antrenarea modelelor cu GitHub Actions Exercise 2: Dezvoltă un model de clasificare Exercise 3: Antrenează un model de clasificare Exercise 4: Configurează antrenarea modelului folosind CML Exercise 5: Versionarea seturilor de date cu Data Version Control Exercise 6: De ce sunt necesare fișierele .dvc?Exercise 7: Versionarea datelor în practică Exercise 8: Interacțiunea cu remote-urile DVC Exercise 9: Explorarea beneficiilor DVC remotes Exercise 10: DVC remote în acțiune Exercise 11: Pipeline-uri DVC Exercise 12: Crearea unui pipeline DVC

Exercițiul curent

Exercise 13: Antrenează modele ML cu DVC

În acest capitol, îți vei concentra atenția asupra analizei performanței modelelor și a ajustării hiperparametrilor. Vei dobândi expertiză practică în compararea metricilor și a vizualizărilor între branch-uri diferite, pentru a evalua modificările în performanța modelului. Vei efectua ajustarea hiperparametrilor folosind `GridSearchCV` din scikit-learn. În plus, vei explora automatizarea pull request-urilor folosind configurația optimă a modelului.

Exercise 1: Compararea metricilor și graficelor în DVC Exercise 2: Adăugarea metricilor și graficelor în dvc.yaml Exercise 3: Compararea metricilor între branch-uri Git Exercise 4: Rulează pipeline-ul DVC în GitHub Actions Exercise 5: Optimizarea hiperparametrilor cu DVC Exercise 6: Adăugarea tuning-ului de hiperparametri în dvc.yaml Exercise 7: Rularea pipeline-urilor DVC pentru tuning de hiperparametri Exercise 8: Workflow GitHub Actions pentru reglarea hiperparametrilor Exercise 9: Cuplare slabă Exercise 10: Configurarea ajustării hiperparametrilor în GitHub Actions Exercise 11: Felicitări!