Версионирование наборов данных с помощью Data Version Control

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

CI/CD для машинного обучения

SkillTag.level.advancedSkillTag.label

4.8+

407 reviews

Начать курс бесплатно

В этой главе вы познакомитесь с основными принципами непрерывной интеграции/непрерывной доставки (CI/CD) и YAML. Вы разберёте жизненный цикл разработки программного обеспечения и ключевые термины: сборка, тестирование и развёртывание. Вы узнаете о различиях между непрерывной интеграцией, непрерывной доставкой и непрерывным развёртыванием, а также исследуете значимость CI/CD в машинном обучении и экспериментировании.

Exercise 1: Введение в непрерывную интеграцию и непрерывную доставку для машинного обучения Exercise 2: Непрерывное развёртывание и непрерывная доставка Exercise 3: Рабочий процесс машинного обучения Exercise 4: Введение в YAML Exercise 5: Синтаксис YAML Exercise 6: Отображения и последовательности в YAML Exercise 7: Введение в GitHub Actions Exercise 8: Применение GitHub Actions Exercise 9: Структура GitHub Actions

Вас ждёт знакомство с GitHub Actions (GHA) — мощной платформой для выполнения рабочих процессов CI/CD. Вы изучите компоненты GHA: события, действия, задачи, шаги, раннеры и контекст. Вы научитесь создавать рабочие процессы, которые запускаются по событиям — например, push и pull request, — а также настраивать раннеры. В ходе практических заданий вы настроите базовые CI-пайплайны и разберётесь в структуре журнала GHA.

Exercise 1: Средний уровень YAML Exercise 2: Найдите правильную комбинацию Exercise 3: Создание рабочего процесса непрерывной интеграции Exercise 4: Настройка базового CI-пайплайна Exercise 5: Интерпретация рабочего процесса GitHub Actions Exercise 6: Написание рабочего процесса GitHub Actions Exercise 7: Запуск кода из репозитория Exercise 8: Ветки функциональности в модели общего репозитория Exercise 9: Запуск кода Python в GitHub Actions Exercise 10: Переменные среды и секреты Exercise 11: Что такое GITHUB_TOKEN?Exercise 12: Работа с переменными окружения Exercise 13: Работа с секретами

В этой главе вы изучите интеграцию обучения моделей машинного обучения в пайплайн GitHub Actions с использованием Continuous Machine Learning GitHub Action. Вы научитесь формировать подробный отчёт в формате Markdown, включающий метрики и графики модели. Также вы познакомитесь с версионированием данных в машинном обучении с помощью Data Version Control (DVC) для отслеживания изменений в данных. В главе рассматриваются настройка удалённых хранилищ DVC и передача наборов данных. В завершение вы изучите пайплайны DVC и научитесь настраивать YAML-файл DVC для организации воспроизводимого обучения модели.

Exercise 1: Обучение модели с помощью GitHub Actions Exercise 2: Разработка модели классификации Exercise 3: Обучение классификационной модели Exercise 4: Настройка обучения модели с помощью CML Exercise 5: Версионирование наборов данных с помощью Data Version Control

Текущее упражнение

Exercise 6: Зачем нужны файлы .dvc?Exercise 7: Версионирование данных на практике Exercise 8: Взаимодействие с удалёнными хранилищами DVC Exercise 9: Преимущества DVC Remotes Exercise 10: DVC-удалённые хранилища в действии Exercise 11: Конвейеры DVC Exercise 12: Создание пайплайна DVC Exercise 13: Обучение моделей машинного обучения с помощью DVC

В этой главе вы сосредоточитесь на анализе производительности модели и тонкой настройке гиперпараметров. Вы получите практические навыки сравнения метрик и визуализаций в разных ветках, чтобы оценивать изменения в производительности модели. Вы выполните подбор гиперпараметров с помощью GridSearchCV из scikit-learn. Кроме того, вы изучите автоматизацию pull request с использованием оптимальной конфигурации модели.

Exercise 1: Сравнение метрик и графиков в DVC Exercise 2: Добавление метрик и графиков в dvc.yaml Exercise 3: Сравнение метрик между ветками Git Exercise 4: Запуск конвейера DVC в GitHub Actions Exercise 5: Подбор гиперпараметров с помощью DVC Exercise 6: Добавление подбора гиперпараметров в dvc.yaml Exercise 7: Запуск DVC-пайплайнов для подбора гиперпараметров Exercise 8: Рабочий процесс GitHub Actions для настройки гиперпараметров Exercise 9: Слабая связанность Exercise 10: Настройка подбора гиперпараметров в GitHub Actions Exercise 11: Поздравляем!