Anda akan menyiapkan data untuk pelatihan terdistribusi dengan membagi data ke beberapa perangkat dan menyalin model pada setiap perangkat. Accelerator menyediakan antarmuka yang praktis untuk persiapan data, dan Anda akan mempelajari cara memproses awal gambar, audio, dan teks sebagai langkah pertama dalam pelatihan terdistribusi.

Menyiapkan model dengan AutoModel dan Accelerator

Memuat dan memeriksa model pralatih

Penempatan perangkat otomatis dengan Accelerator

Praproses gambar dan audio untuk pelatihan

Praproses himpunan data gambar

Praproses himpunan data audio

Siapkan himpunan data untuk pelatihan terdistribusi

Praproses teks untuk pelatihan

Praproses teks dengan AutoTokenizer

Menyimpan dan memuat status teks yang telah dipraproses

Persiapan Data dengan Accelerator

Dalam pelatihan terdistribusi, setiap perangkat melatih model pada datanya masing-masing secara paralel. Anda akan menyelidiki dua metode untuk pelatihan terdistribusi: Accelerator memungkinkan loop pelatihan kustom, dan Trainer menyederhanakan antarmuka untuk pelatihan.

Melakukan fine-tuning model dengan Trainer

Tetapkan metrik evaluasi

Tentukan TrainingArguments

Menyiapkan Trainer

Latih model dengan Accelerator

Siapkan model untuk pelatihan terdistribusi

Loop pelatihan sebelum dan sesudah Accelerator

Membangun loop pelatihan dengan Accelerator

Evaluasi model dengan Accelerator

Mengatur model ke mode evaluasi

Mencatat metrik evaluasi

Pelatihan Terdistribusi dengan Accelerator dan Trainer

Pelatihan terdistribusi membebani sumber daya saat menggunakan model dan himpunan data yang besar, tetapi Anda dapat mengatasinya dengan meningkatkan penggunaan memori, komunikasi antarperangkat, dan efisiensi komputasi. Anda akan mempelajari teknik gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training.

Akumulasi gradien

Akumulasi gradien dengan Accelerator

Akumulasi gradien dengan Trainer

Gradient checkpointing dan local SGD

Gradient checkpointing dengan Accelerator

Gradient checkpointing dengan Trainer

Local SGD dengan Accelerator

Pelatihan presisi campuran

Pelatihan mixed precision dengan PyTorch dasar

Pelatihan presisi campuran dengan Accelerator

Pelatihan presisi campuran dengan Trainer

Meningkatkan Efisiensi Pelatihan

Anda akan berfokus pada optimizer sebagai tuas untuk meningkatkan efisiensi pelatihan terdistribusi, dengan menyoroti pertukaran (trade-off) antara AdamW, Adafactor, dan 8-bit Adam. Mengurangi jumlah parameter atau menggunakan presisi rendah membantu menurunkan jejak memori model.

Pelatihan seimbang dengan AdamW

AdamW dengan Trainer

AdamW dengan Accelerator

Hitung ukuran optimizer

Pelatihan hemat memori dengan Adafactor

Adafactor dengan Trainer

Adafactor dengan Accelerator

Pelatihan presisi campuran dengan 8-bit Adam

Menyiapkan pengoptimal Adam 8-bit

Adam 8-bit dengan Trainer

8-bit Adam dengan Accelerator

Opsi

AdamW

Adafactor

8-bit Adam

Optimizer yang mana?

Selamat!

Pelatihan dengan Optimizer yang Efisien

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Ingin model Machine Learning Anda berlatih dalam waktu yang jauh lebih singkat? Pelatihan terdistribusi memungkinkan Anda melatih model di banyak perangkat, sehingga proyek AI dapat diskalakan dan waktu pelatihan berkurang. Dalam kursus ini, Anda akan mempelajari cara menggunakan pustaka Hugging Face Accelerator dan PyTorch untuk menyiapkan model bagi pelatihan terdistribusi pada perangkat Anda. Anda akan mengeksplorasi data sharding, replikasi model, dan sinkronisasi parameter sambil memperoleh pengalaman langsung menerapkan teknik ini pada alur kerja dunia nyata, baik untuk model gambar, teks, maupun audio.

Pelatihan terdistribusi adalah keterampilan penting dalam machine learning skala besar, membantu Anda mengurangi waktu yang diperlukan untuk melatih model bahasa besar dengan triliunan parameter. Dalam kursus ini, Anda akan mempelajari alat, teknik, dan strategi penting untuk pelatihan terdistribusi yang efisien menggunakan PyTorch, Accelerator, dan Trainer. 
<h2>Mempersiapkan Data untuk Pelatihan Terdistribusi</h2>
Anda akan memulai dengan menyiapkan data untuk pelatihan terdistribusi dengan membagi dataset ke beberapa perangkat dan menerapkan salinan model ke setiap perangkat. Anda akan mendapatkan pengalaman langsung dalam melakukan preprocessing data untuk lingkungan terdistribusi, termasuk gambar, audio, dan teks.
<h2>Menjelajahi Teknik Efisiensi</h2>
Setelah data Anda siap, Anda akan menjelajahi cara-cara untuk meningkatkan efisiensi dalam pelatihan dan penggunaan optimizer di berbagai antarmuka. Anda akan melihat cara mengatasi tantangan ini dengan meningkatkan penggunaan memori, komunikasi perangkat, dan efisiensi komputasi melalui teknik seperti gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training. Anda akan memahami trade-off antara berbagai optimizer untuk membantu Anda mengurangi jejak memori model Anda.

Di akhir kursus ini, Anda akan dibekali dengan pengetahuan dan alat untuk membangun layanan terdistribusi bertenaga AI.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Pelajari cara mengurangi waktu pelatihan model bahasa besar dengan Accelerator dan Trainer.

Pelatihan Model AI Efisien dengan PyTorch

Pelajari cara mengurangi waktu pelatihan untuk large language models dengan Accelerator dan Trainer untuk distributed training

Pelatihan seimbang dengan AdamW

Create Your Free Account