Concepte privind execuția pipeline-urilor DVC

Pipeline-urile DVC simplifică fluxurile de lucru în învățarea automată, permițând versionarea, urmărirea și stocarea în cache a datelor și codului. Înțelegerea modului de execuție a pipeline-urilor te ajută să proiectezi fluxuri de lucru eficiente. În acest exercițiu, îți vei verifica cunoștințele despre modul în care DVC execută pipeline-uri reproductibile.

Acest exercițiu face parte din cursul

Introducere în versionarea datelor cu DVC

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în versionarea datelor cu DVC

SkillTag.level.intermediateSkillTag.label

4.8+

407 reviews

Începe cursul gratuit

Acest capitol oferă o introducere cuprinzătoare în Data Version Control (DVC), un instrument esențial pentru versionarea datelor în machine learning. Vei explora motivele din spatele versionării datelor, vei înțelege diferențele față de versionarea codului și vei experimenta cu o problemă simplă de clasificare. Vei recapitula comenzile de bază Git, vei afla despre DVC și vei exersa configurarea unui repository. Capitolul se încheie cu o prezentare generală a funcționalităților și cazurilor de utilizare DVC, inclusiv versionarea datelor și modelelor, CI/CD pentru machine learning, urmărirea experimentelor, pipeline-uri și altele.

Exercise 1: Motivația pentru versionarea datelor Exercise 2: Anatomia unui model de învățare automată Exercise 3: Diferențe între versionarea datelor și a codului Exercise 4: Înțelegerea hiperparametrilor Exercise 5: Introducere în DVC Exercise 6: Lucrul cu Git CLI Exercise 7: Recapitulare CLI DVC Exercise 8: Funcționalitățile și cazurile de utilizare DVC Exercise 9: Pipeline-uri DVC Exercise 10: CI/CD pentru machine learning

Acest capitol analizează în detaliu configurarea DVC, acoperind instalarea, inițializarea repository-ului și utilizarea fișierului `.dvcignore`. Explorezi cache-ul DVC și fișierele din staging, înveți cum să adaugi și să elimini fișiere, să gestionezi cache-ul și să înțelegi mecanismele interne folosind hash-ul MD5. Capitolul explică și remote-urile DVC, distingându-le de remote-urile Git, și te ghidează în adăugarea, listarea și modificarea lor. În final, vei învăța cum să interacționezi cu aceste remote-uri prin operațiuni de push și pull, cum să accesezi versiuni specifice și cum să aduci date în cache.

Exercise 1: Configurarea și inițializarea DVC Exercise 2: Configurarea DVC Exercise 3: Tipare .dvcignore Exercise 4: Cache-ul DVC și fișierele de staging Exercise 5: Lucrul cu cache-ul DVC Exercise 6: Înțelegerea fișierelor .dvc Exercise 7: Configurarea remotelor DVC Exercise 8: Rolul remote-urilor DVC Exercise 9: Configurează un remote DVC Exercise 10: Interacțiunea cu remotele DVC Exercise 11: Versionarea datelor cu DVC Remote Exercise 12: Revenirea la versiuni anterioare ale datelor

Acest capitol se concentrează pe automatizarea pipeline-urilor ML cu DVC. Vei crea un fișier de configurare care conține setări și hiperparametri. Vei învăța, de asemenea, despre vizualizarea pipeline-urilor folosind grafuri aciclic direcționate și vei folosi comenzi pentru a descrie dependențe, comenzi și rezultate. Sunt acoperite și aspecte legate de execuția pipeline-urilor DVC, inclusiv antrenarea locală a modelelor și modul în care Git urmărește metadatele DVC. În plus, vei explora urmărirea metricilor și a graficelor în DVC, inclusiv cum să afișezi metrici, să creezi fișiere de grafice și să compari metrici și grafice între diferite etape ale pipeline-ului.

Exercise 1: Organizarea și refactorizarea codului Exercise 2: Înțelegerea fișierelor de parametri în DVC Exercise 3: Scrie un fișier de parametri Exercise 4: Scrierea și vizualizarea pipeline-urilor DVC Exercise 5: Proiectarea unui pipeline DVC Exercise 6: Vizualizarea unui pipeline DVC Exercise 7: Execuția pipeline-urilor DVC Exercise 8: Concepte privind execuția pipeline-urilor DVC

Exercițiul curent

Exercise 9: Execută un pipeline de antrenare a unui model ML Exercise 10: Evaluare: Metrici și grafice în DVC Exercise 11: Urmărirea metricilor DVC Exercise 12: Adăugarea graficelor în dvc.yaml Exercise 13: Felicitări!