Explore options for fine-tuning Llama 3 models and dive into TorchTune, a library built to simplify fine-tuning. This chapter guides you through data preparation, TorchTune's recipe-based system, and efficient task configuration, providing the key steps to launch your first fine-tuning task.

Llama ince ayar kütüphaneleri

TorchTune tariflerini listeleme

Bir TorchTune görevini çalıştırma

İnce ayar için verileri ön işleme

Değerlendirme için veri kümelerini filtreleme

Eğitim örnekleri oluşturma

Ön işlenmiş veri kümelerini kaydetme

TorchTune ile ince ayar

Özel tarifler tanımlama

Özel tarifleri kaydetme

Özel fine-tuning çalıştırma

Preparing for Llama fine-tuning

Learn how fine-tuning can significantly improve the performance of smaller models for specific tasks. Start with fine-tuning smaller Llama models to enhance their task-specific capabilities. Next, discover parameter-efficient fine-tuning techniques such as LoRA, and explore quantization to load and use even larger models.

Model fine-tuning with Hugging Face

Setting up Llama training arguments

Fine-tuning Llama for customer service QA

Evaluate generated text using ROUGE

Efficient fine-tuning with LoRA

Using LoRA adapters

LoRA fine-tuning Llama for customer service

Making models smaller with quantization

Loading 8-bit models

Speeding up inference in quantized models

Congratulations!

Fine-tuning with SFTTrainer on Hugging Face

Llama açık kaynak LLM’ini özel uygulamalar için performansını optimize edecek şekilde ince ayarla. TorchTune’un tarif tabanlı sistemini ve Hugging Face’in SFTTrainer aracını kullanarak fine-tuning döngülerini nasıl çalıştıracağını ve modellerini özel veri kümeleriyle nasıl hazırlayacağını öğren. Son olarak, LoRA gibi parametre-verimli tekniklerle denemeler yap ve model bellek kullanımını azaltmak, görevlerini daha verimli çalıştırmak için quantization uygula.

<h2>Llama modelinin ince ayarı</h2> Bu kurs, Llama modellerini hazırlamak ve bunlarla çalışmak için kapsamlı bir kılavuz sunar. Uygulamalı örnekler ve pratik alıştırmalarla, çeşitli Llama ince ayar görevlerini nasıl yapılandıracağınızı öğreneceksiniz. <h2>İnce ayar için veri kümelerini hazırlayın</h2> Hugging Face Datasets kütüphanesini kullanarak veri kümelerini yükleme, bölme ve kaydetme gibi veri kümesi hazırlama tekniklerini keşfetmeye başlayın ve Llama projeleriniz için yüksek kaliteli veriler elde edin. <h2>İnce ayar çerçeveleriyle çalışın</h2> TorchTune ve Hugging Face’in SFTTrainer gibi son teknoloji kütüphaneleri kullanarak iş akışlarını ince ayarlamayı keşfedin. İnce ayar tariflerini yapılandırmayı, eğitim argümanlarını ayarlamayı ve kaynak kullanımını optimize etmek için BitsAndBytes kullanarak LoRA (Düşük Sıralı Uyarlama) ve niceleme gibi verimli teknikleri kullanmayı öğreneceksiniz. Kurs boyunca öğrendiğiniz teknikleri birleştirerek, Llama modellerini projelerinizin ihtiyaçlarına uygun şekilde verimli bir şekilde özelleştirebileceksiniz.

Working with Llama 3

TorchTune ile Llama'yı özelleştirin, verimli ince ayar için kuantizasyon gibi teknikleri öğrenin.

Llama 3 ile İnce Ayar (Fine-Tuning)

TorchTune kullanarak Llama'yı özel görevler için ince ayar yapın ve niceleme gibi verimli ince ayar tekniklerini öğrenin.

Lama Temelleri

TorchTune tariflerini listeleme

Llama 3 ile İnce Ayar (Fine-Tuning)

Uygulamalı interaktif egzersiz