Тренування моделей ML за допомогою DVC

Забезпечити відтворюваність експериментів і підтримувати охайну структуру проєкту буває непросто.

У цій вправі ви пропрацюєте сценарій, у якому потрібно натренувати модель машинного навчання, дотримуючись структурованого підходу. Ви використаєте DVC для керування версіями даних і відтворюваністю в проєктах з машинного навчання. Ваше завдання — доповнити заготовлений файл dvc.yaml, який містить інструкції з попередньої обробки даних і тренування моделі, щоб ви могли впевнено відтворювати експерименти та ефективно співпрацювати з командою.

ПРИМІТКА: використовуйте python3 замість python для запуску скриптів Python.

Ця вправа є частиною курсу

CI/CD для машинного навчання

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

CI/CD для машинного навчання

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви розглянете основні принципи Continuous Integration/Continuous Delivery (CI/CD) і YAML. Ви зрозумієте життєвий цикл розробки ПЗ та ключові терміни, як-от build, test і deploy. Дізнайтеся про відмінності між Continuous Integration, Continuous Delivery та Continuous Deployment. Крім того, ви дослідите значення CI/CD у машинному навчанні та під час експериментів.

Exercise 1: Вступ до Continuous Integration/Continuous Delivery для машинного навчання Exercise 2: Continuous deployment і delivery Exercise 3: Робочий процес машинного навчання Exercise 4: Вступ до YAML Exercise 5: Синтаксис YAML Exercise 6: Відповідності та послідовності в YAML Exercise 7: Вступ до GitHub Actions Exercise 8: Корисність GitHub Actions Exercise 9: Будова GitHub Actions

Підготуйтеся дослідити GitHub Actions (GHA) — потужну платформу для виконання робочих процесів CI/CD. Розкрийте різні компоненти GHA: events, actions, jobs, steps, runners і context. Зрозумійте, як створювати workflows, що активуються подіями на кшталт push і pull request, та налаштовувати runner-машини. Пориньте в практику: налаштуйте базові CI-конвеєри та розберіться з особливостями журналу GHA.

Exercise 1: Середній рівень YAML Exercise 2: Знайдіть правильну комбінацію Exercise 3: Спроєктуйте workflow для безперервної інтеграції Exercise 4: Налаштування базового CI-конвеєра Exercise 5: Інтерпретуйте workflow GitHub Actions Exercise 6: Напишіть workflow GitHub Actions Exercise 7: Запуск коду з репозиторію Exercise 8: Фічеві гілки в моделі спільного репозиторію Exercise 9: Запуск коду Python у GitHub Actions Exercise 10: Змінні середовища та секрети Exercise 11: Що таке GITHUB_TOKEN?Exercise 12: Робота зі змінними середовища Exercise 13: Робота з секретами

У цьому розділі ви інтегруєте навчання моделей машинного навчання в конвеєр GitHub Actions за допомогою Continuous Machine Learning GitHub Action. Ви згенеруєте розгорнутий markdown-звіт із метриками моделі та графіками. Також ви заглибитеся у версіонування даних у машинному навчанні, застосувавши Data Version Control (DVC) для відстеження змін у даних. Розділ також охоплює налаштування віддалених сховищ DVC (remotes) і передавання наборів даних. Нарешті, ви дослідите конвеєри DVC, налаштувавши YAML-файл DVC для оркестрації відтворюваного навчання моделей.

Exercise 1: Навчання моделі з GitHub Actions Exercise 2: Розробіть модель класифікації Exercise 3: Навчіть модель класифікації Exercise 4: Налаштуйте тренування моделі за допомогою CML Exercise 5: Керування версіями наборів даних за допомогою Data Version Control Exercise 6: Навіщо потрібні файли .dvc?Exercise 7: Практика керування версіями даних Exercise 8: Взаємодія з віддаленими сховищами DVC Exercise 9: Переваги віддалених сховищ DVC Exercise 10: DVC remotes у дії Exercise 11: DVC Pipelines Exercise 12: Створення конвеєра DVC Exercise 13: Тренування моделей ML за допомогою DVC

Поточна вправа

У цьому розділі ви зосередитеся на аналізі продуктивності моделі та тонкому налаштуванні гіперпараметрів. Ви набудете практичних навичок порівняння метрик і візуалізацій у різних гілках, щоб оцінювати зміни в роботі моделі. Ви виконуватимете підбір гіперпараметрів за допомогою GridSearchCV із пакета scikit-learn. Крім того, ви розглянете автоматизацію pull request, використовуючи оптимальну конфігурацію моделі.

Exercise 1: Порівняння метрик і графіків у DVC Exercise 2: Додавання метрик і графіків до dvc.yaml Exercise 3: Порівняння метрик у гілках Git Exercise 4: Запустіть конвеєр DVC у GitHub Actions Exercise 5: Тюнінг гіперпараметрів із DVC Exercise 6: Додавання налаштування гіперпараметрів до dvc.yaml Exercise 7: Запуск конвеєрів DVC для налаштування гіперпараметрів Exercise 8: Робочий процес GitHub Actions для підбору гіперпараметрів Exercise 9: Слабке зчеплення Exercise 10: Налаштуйте підбір гіперпараметрів у GitHub Actions Exercise 11: Вітаємо!