Llama 3 modelleri için fine-tuning seçeneklerini keşfet ve fine-tuning’i sadeleştirmek için oluşturulmuş bir kütüphane olan TorchTune’a dal. Bu bölüm, veri hazırlamayı, TorchTune’un tarif tabanlı sistemini ve verimli görev yapılandırmasını adım adım anlatarak ilk fine-tuning görevini başlatman için gerekli temel adımları sunar.

Llama ince ayar kütüphaneleri

TorchTune tariflerini listeleme

Bir TorchTune görevini çalıştırma

İnce ayar için verileri ön işleme

Değerlendirme için veri kümelerini filtreleme

Eğitim örnekleri oluşturma

Ön işlenmiş veri kümelerini kaydetme

TorchTune ile ince ayar

Özel tarifler tanımlama

Özel tarifleri kaydetme

Özel fine-tuning çalıştırma

Llama ince ayarı için hazırlık

Fine-tuning’in, küçük modellerin belirli görevlerdeki performansını nasıl ciddi ölçüde artırabildiğini öğren. Göreve özel yeteneklerini geliştirmek için önce daha küçük Llama modellerini ince ayarla. Ardından LoRA gibi parametre-verimli fine-tuning tekniklerini keşfet ve daha da büyük modelleri yükleyip kullanabilmek için quantization yöntemlerini incele.

Hugging Face ile model ince ayarı

Llama eğitim argümanlarını ayarlama

Müşteri hizmetleri S&C için Llama'ı ince ayarlama

ROUGE kullanarak üretilen metni değerlendir

LoRA ile verimli ince ayar

LoRA adapter'larını kullanma

Müşteri hizmetleri için Llama'yı LoRA ile ince ayarlama

Kantizasyon ile modelleri küçültme

8 bit modelleri yükleme

Kuantize modellerde çıkarımı hızlandırma

Tebrikler!

Hugging Face üzerinde SFTTrainer ile fine-tuning

Llama açık kaynak LLM’ini özel uygulamalar için performansını optimize edecek şekilde ince ayarla. TorchTune’un tarif tabanlı sistemini ve Hugging Face’in SFTTrainer aracını kullanarak fine-tuning döngülerini nasıl çalıştıracağını ve modellerini özel veri kümeleriyle nasıl hazırlayacağını öğren. Son olarak, LoRA gibi parametre-verimli tekniklerle denemeler yap ve model bellek kullanımını azaltmak, görevlerini daha verimli çalıştırmak için quantization uygula.

<h2>Llama modelinin ince ayarı</h2> Bu kurs, Llama modellerini hazırlamak ve bunlarla çalışmak için kapsamlı bir kılavuz sunar. Uygulamalı örnekler ve pratik alıştırmalarla, çeşitli Llama ince ayar görevlerini nasıl yapılandıracağınızı öğreneceksiniz. <h2>İnce ayar için veri kümelerini hazırlayın</h2> Hugging Face Datasets kütüphanesini kullanarak veri kümelerini yükleme, bölme ve kaydetme gibi veri kümesi hazırlama tekniklerini keşfetmeye başlayın ve Llama projeleriniz için yüksek kaliteli veriler elde edin. <h2>İnce ayar çerçeveleriyle çalışın</h2> TorchTune ve Hugging Face’in SFTTrainer gibi son teknoloji kütüphaneleri kullanarak iş akışlarını ince ayarlamayı keşfedin. İnce ayar tariflerini yapılandırmayı, eğitim argümanlarını ayarlamayı ve kaynak kullanımını optimize etmek için BitsAndBytes kullanarak LoRA (Düşük Sıralı Uyarlama) ve niceleme gibi verimli teknikleri kullanmayı öğreneceksiniz. Kurs boyunca öğrendiğiniz teknikleri birleştirerek, Llama modellerini projelerinizin ihtiyaçlarına uygun şekilde verimli bir şekilde özelleştirebileceksiniz.

Working with Llama 3

TorchTune ile Llama'yı özelleştirin, verimli ince ayar için kuantizasyon gibi teknikleri öğrenin.

Llama 3 ile İnce Ayar (Fine-Tuning)

TorchTune kullanarak Llama'yı özel görevler için ince ayar yapın ve niceleme gibi verimli ince ayar tekniklerini öğrenin.

Lama Temelleri

Özel fine-tuning çalıştırma

Llama 3 ile İnce Ayar (Fine-Tuning)

Uygulamalı etkileşimli egzersiz