Explorez les options pour ajuster finement les modèles Llama 3 et découvrez TorchTune, une bibliothèque conçue pour simplifier l'ajustement fin. Ce chapitre vous guide dans la préparation des données, le système de recettes de TorchTune et la configuration efficace des tâches, en présentant les étapes clés pour lancer votre première tâche d'ajustement fin.

Les bibliothèques pour l'ajustement fin de Llama

Répertorier les recettes TorchTune

Exécuter une tâche TorchTune

Prétraiter les données pour l'ajustement fin

Filtrer des jeux de données pour l'évaluation

Créer des exemples d'entraînement

Enregistrer des ensembles de données prétraités

Ajustement fin avec TorchTune

Définir des recettes personnalisées

Enregistrer des recettes personnalisées

Exécuter un ajustement fin personnalisé

Se préparer à l'ajustement fin de Llama

Découvrez comment l'ajustement fin peut grandement améliorer le rendement de petits modèles pour des tâches précises. Commencez par ajuster finement de plus petits modèles Llama afin d'en accroître les capacités spécifiques à une tâche. Ensuite, explorez des techniques d'ajustement fin économes en paramètres comme LoRA, et voyez comment la quantification permet de charger et d'utiliser des modèles encore plus grands.

Ajustement fin du modèle avec Hugging Face

Configurer les arguments d'entraînement de Llama

Ajuster Llama pour la FAQ du service à la clientèle

Évaluer le texte généré avec ROUGE

Ajustement efficace avec LoRA

Utiliser des adaptateurs LoRA

Ajustement fin de Llama avec LoRA pour le service à la clientèle

Rendre les modèles plus petits grâce à la quantification

Charger des modèles en 8 bits

Accélérer l'inférence dans des modèles quantifiés

Félicitations !

Ajustement fin avec SFTTrainer sur Hugging Face

Ajustez finement le LLM libre Llama pour optimiser son rendement dans des applications spécialisées. Apprenez à utiliser le système de recettes de TorchTune et le SFTTrainer de Hugging Face pour exécuter des boucles d'ajustement fin et préparer vos modèles avec des jeux de données personnalisés. Enfin, expérimentez des techniques économes en paramètres comme LoRA et appliquez la quantification pour réduire l'utilisation de la mémoire du modèle et exécuter vos tâches plus efficacement.

<h2>Ajustement fin du modèle Llama</h2> Ce cours offre un guide complet pour préparer et travailler avec les modèles Llama. Grâce à des exemples pratiques et à des exercices concrets, vous apprendrez à configurer diverses tâches de réglage fin de Llama. <h2>Préparez des jeux de données pour le réglage fin</h2> Commencez par explorer les techniques de préparation des jeux de données, notamment le chargement, le fractionnement et l’enregistrement des jeux de données à l’aide de la bibliothèque Datasets de Hugging Face, afin d’assurer des données de haute qualité pour vos projets Llama. <h2>Travaillez avec des cadres de réglage fin</h2> Explorez les flux de travail de réglage fin à l’aide de bibliothèques de pointe comme TorchTune et SFTTrainer de Hugging Face. Vous apprendrez à configurer des recettes de réglage fin, à définir les arguments d’entraînement et à utiliser des techniques efficaces comme LoRA (Low-Rank Adaptation) et la quantification avec BitsAndBytes pour optimiser l’utilisation des ressources. En combinant les techniques apprises tout au long du cours, vous serez en mesure de personnaliser les modèles Llama afin de répondre efficacement aux besoins de vos projets.

Working with Llama 3

Ajustez Llama pour des tâches personnalisées avec TorchTune et apprenez des techniques comme la quantification.

Ajustement fin avec Llama 3

Affinez Llama pour des tâches personnalisées avec TorchTune et apprenez des techniques de fine-tuning efficace comme la quantification.

Fondamentaux de Llama

Définir des recettes personnalisées

Ajustement fin avec Llama 3

Instructions de l’exercice

Exercice interactif pratique