Дослідіть варіанти тонкого налаштування моделей Llama 3 і зануртеся в TorchTune — бібліотеку, створену для спрощення цього процесу. У цьому розділі ви пройдете підготовку даних, рецептурну систему TorchTune та ефективну конфігурацію завдань, отримавши ключові кроки для запуску вашого першого завдання тонкого налаштування.

Бібліотеки для тонкого налаштування Llama

Список рецептів TorchTune

Запуск завдання TorchTune

Попередня обробка даних для тонкого налаштування

Фільтрування наборів даних для оцінювання

Створення тренувальних прикладів

Збереження попередньо оброблених наборів даних

Тонке налаштування з TorchTune

Визначення користувацьких рецептів

Збереження власних рецептів

Запуск користувацького донавчання

Підготовка до тонкого налаштування Llama

Дізнайтеся, як тонке налаштування може суттєво підвищити продуктивність менших моделей для конкретних завдань. Почніть із тонкого налаштування менших моделей Llama, щоб посилити їхні можливості під певні задачі. Далі відкрийте параметроефективні техніки, зокрема LoRA, і розгляньте квантизацію, щоб завантажувати та використовувати навіть більші моделі.

Тонке налаштування моделей з Hugging Face

Налаштування аргументів навчання Llama

Донавчання Llama для відповідей у службі підтримки

Оцініть згенерований текст за допомогою ROUGE

Ефективне тонке налаштування з LoRA

Використання адаптерів LoRA

Налаштування LoRA для Llama для служби підтримки клієнтів

Зменшення моделей за допомогою quantization

Завантаження 8-бітних моделей

Прискорення інференсу в квантизованих моделях

Вітаємо!

Тонке налаштування з SFTTrainer на Hugging Face

Виконайте тонке налаштування відкритого LLM Llama, щоб оптимізувати його для спеціалізованих застосувань. Дізнайтеся, як використовувати рецептурну систему TorchTune та SFTTrainer від Hugging Face для запуску циклів тонкого налаштування, готуючи ваші моделі на індивідуальних наборах даних. Нарешті, поекспериментуйте з параметроефективними методами, як-от LoRA, і застосуйте квантизацію, щоб зменшити використання пам'яті моделлю та виконувати ваші завдання ефективніше.

<h2>Доопрацювання моделі Llama</h2> Цей курс надає вичерпний посібник із підготовки та роботи з моделями Llama. За допомогою практичних прикладів і вправ ви навчитеся налаштовувати різні завдання донавчання Llama. <h2>Підготуйте набори даних для донавчання</h2> Почніть із вивчення технік підготовки наборів даних, зокрема завантаження, розділення та збереження наборів даних за допомогою бібліотеки Hugging Face Datasets, щоб забезпечити високоякісні дані для ваших проєктів Llama. <h2>Працюйте з фреймворками для fine-tuning</h2> Досліджуйте робочі процеси fine-tuning за допомогою передових бібліотек, таких як TorchTune та SFTTrainer від Hugging Face. Ви навчитеся налаштовувати рецепти fine-tuning, задавати параметри навчання та використовувати ефективні методики, як-от LoRA (Low-Rank Adaptation) і квантизацію за допомогою BitsAndBytes, щоб оптимізувати використання ресурсів. Поєднуючи техніки, вивчені протягом курсу, ви зможете ефективно налаштовувати моделі Llama відповідно до потреб ваших проєктів.

Working with Llama 3

Налаштуйте Llama для завдань з TorchTune, вивчіть методи ефективного налаштування, як квантування.

Тонке налаштування з Llama 3

Тонко налаштовуйте Llama для власних завдань за допомогою TorchTune та вивчайте методи ефективного тонкого налаштування, як-от квантизація.

Основи Llama

Curriculum Manager, DataCamp

Попередня обробка даних для донавчання

Використання наборів даних для донавчання

Підготовка даних за допомогою бібліотеки datasets

Завантаження набору даних служби підтримки

Огляд даних

Фільтрування набору даних

Попередня обробка набору даних

Збереження попередньо обробленого набору даних

Використання наборів даних Hugging Face з TorchTune

Давайте потренуємось!

Підготовка до тонкого налаштування Llama - Попередня обробка даних для тонкого налаштування

Попередня обробка даних для тонкого налаштування

Create Your Free Account