Rularea pipeline-urilor DVC pentru tuning de hiperparametri

În acest exercițiu, vei rula țintele de antrenament al hiperparametrilor și de antrenament al modelului definite în pipeline-ul dvc.yaml. Fișierul dvc.yaml descrie fluxul de lucru DVC care orchestrează joburile și listează comenzile, dependențele și rezultatele.

Vei experimenta rularea acestor pipeline-uri independent și vei observa interacțiunea dintre ele prin intermediul fișierului de configurare a celor mai buni parametri, rfc_best_params.json.

În designul ales, acest fișier poate fi editat manual pentru joburile de antrenament sau, alternativ, poate fi generat ca rezultat al unui job de tuning de hiperparametri.

Fișierul dvc.yaml descrie fluxul de lucru DVC care orchestrează tuning-ul de hiperparametri și listează comenzile, dependențele și rezultatele.

NOTĂ: Vei lucra pe branch-ul main. Git și DVC sunt deja inițializate pentru tine.

Acest exercițiu face parte din cursul

CI/CD pentru Machine Learning

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

CI/CD pentru Machine Learning

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei explora principiile esențiale ale Continuous Integration/Continuous Delivery (CI/CD) și YAML. Vei înțelege ciclul de viață al dezvoltării software și termeni-cheie precum build, test și deploy. Vei descoperi diferențele dintre Integrarea Continuă, Livrarea Continuă și Deployment-ul Continuu. În plus, vei investiga importanța CI/CD în machine learning și experimentare.

Exercise 1: Introducere în Continuous Integration/Continuous Delivery pentru Machine Learning Exercise 2: Implementarea continuă și livrarea continuă Exercise 3: Fluxul de lucru în machine learning Exercise 4: Introducere în YAML Exercise 5: Sintaxa YAML Exercise 6: Mapări și secvențe YAML Exercise 7: Introducere în GitHub Actions Exercise 8: Utilitatea GitHub Actions Exercise 9: Anatomia GitHub Actions

Pregătește-te să explorezi GitHub Actions (GHA), o platformă influentă pentru executarea fluxurilor CI/CD. Vei descoperi componentele diverse ale GHA, care includ evenimente, acțiuni, joburi, pași, runnere și context. Vei înțelege cum să creezi fluxuri de lucru care se activează la evenimente precum push și pull request și cum să personalizezi mașinile runner. Vei învăța practic cum să configurezi pipeline-uri CI de bază și să înțelegi detaliile log-ului GHA.

Exercise 1: YAML intermediar Exercise 2: Găsește combinația corectă Exercise 3: Proiectează un flux de lucru pentru Integrare Continuă Exercise 4: Configurarea unui pipeline CI de bază Exercise 5: Interpretează un workflow GitHub Actions Exercise 6: Scrie un workflow GitHub Actions Exercise 7: Rularea codului din repozitoriu Exercise 8: Branch-urile de funcționalitate în modelul de depozit partajat Exercise 9: Rularea codului Python în GitHub Actions Exercise 10: Variabile de mediu și secrete Exercise 11: Ce este GITHUB_TOKEN?Exercise 12: Lucrul cu variabile de mediu Exercise 13: Lucrul cu secrete

În acest capitol, vei explora integrarea antrenamentului modelelor de machine learning într-un pipeline GitHub Actions folosind acțiunea Continuous Machine Learning. Vei genera un raport markdown detaliat care include metrici și grafice ale modelului. Vei aprofunda și versionarea datelor în machine learning, adoptând Data Version Control (DVC) pentru a urmări modificările datelor. Capitolul acoperă, de asemenea, configurarea remote-urilor DVC și transferul seturilor de date. În final, vei explora pipeline-urile DVC, configurând un fișier YAML DVC pentru a orchestra antrenamentul reproductibil al modelelor.

Exercise 1: Antrenarea modelelor cu GitHub Actions Exercise 2: Dezvoltă un model de clasificare Exercise 3: Antrenează un model de clasificare Exercise 4: Configurează antrenarea modelului folosind CML Exercise 5: Versionarea seturilor de date cu Data Version Control Exercise 6: De ce sunt necesare fișierele .dvc?Exercise 7: Versionarea datelor în practică Exercise 8: Interacțiunea cu remote-urile DVC Exercise 9: Explorarea beneficiilor DVC remotes Exercise 10: DVC remote în acțiune Exercise 11: Pipeline-uri DVC Exercise 12: Crearea unui pipeline DVC Exercise 13: Antrenează modele ML cu DVC

În acest capitol, îți vei concentra atenția asupra analizei performanței modelelor și a ajustării hiperparametrilor. Vei dobândi expertiză practică în compararea metricilor și a vizualizărilor între branch-uri diferite, pentru a evalua modificările în performanța modelului. Vei efectua ajustarea hiperparametrilor folosind `GridSearchCV` din scikit-learn. În plus, vei explora automatizarea pull request-urilor folosind configurația optimă a modelului.

Exercise 1: Compararea metricilor și graficelor în DVC Exercise 2: Adăugarea metricilor și graficelor în dvc.yaml Exercise 3: Compararea metricilor între branch-uri Git Exercise 4: Rulează pipeline-ul DVC în GitHub Actions Exercise 5: Optimizarea hiperparametrilor cu DVC Exercise 6: Adăugarea tuning-ului de hiperparametri în dvc.yaml Exercise 7: Rularea pipeline-urilor DVC pentru tuning de hiperparametri

Exercițiul curent

Exercise 8: Workflow GitHub Actions pentru reglarea hiperparametrilor Exercise 9: Cuplare slabă Exercise 10: Configurarea ajustării hiperparametrilor în GitHub Actions Exercise 11: Felicitări!