Inizia subitoInizia gratis

Home
Corsi
Efficient AI Model Training with PyTorch

Esegui il fine-tuning dei modelli con Trainer

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Questo esercizio fa parte del corso

Efficient AI Model Training with PyTorch

AvançadoNível de habilidade

4.9+

Inizia il corso gratuitamente

Preparerai i dati per il training distribuito suddividendoli tra più dispositivi e copiando il modello su ciascuno di essi. Accelerator offre un'interfaccia comoda per la preparazione dei dati e imparerai a preprocessare immagini, audio e testo come primo passo del training distribuito.

Exercise 1: Prepara i modelli con AutoModel e Accelerator Exercise 2: Caricare e ispezionare modelli pre-addestrati Exercise 3: Posizionamento automatico del dispositivo con Accelerator Exercise 4: Preprocessa immagini e audio per l'addestramento Exercise 5: Pre-elabora insiemi di dati di immagini Exercise 6: Pre-elabora insiemi di dati audio Exercise 7: Prepara gli insiemi di dati per l'addestramento distribuito Exercise 8: Preelabora il testo per l'addestramento Exercise 9: Pre-elabora il testo con AutoTokenizer Exercise 10: Salva e carica lo stato del testo preprocessato

Nel training distribuito, ogni dispositivo addestra in parallelo sui propri dati. Esaminerai due metodi per il training distribuito: Accelerator abilita cicli di training personalizzati, mentre Trainer semplifica l'interfaccia per l'addestramento.

Exercise 1: Esegui il fine-tuning dei modelli con Trainer

Esercizio attuale

Exercise 2: Definisci le metriche di valutazione Exercise 3: Specifica i TrainingArguments Exercise 4: Configura Trainer Exercise 5: Allena i modelli con Accelerator Exercise 6: Prepara un modello per il training distribuito Exercise 7: Cicli di training prima e dopo Accelerator Exercise 8: Creare un training loop con Accelerator Exercise 9: Valuta i modelli con Accelerator Exercise 10: Impostare il modello in modalità valutazione Exercise 11: Registrare le metriche di valutazione

Il training distribuito mette sotto pressione le risorse con modelli e insiemi di dati di grandi dimensioni, ma puoi affrontare queste sfide migliorando l'uso della memoria, la comunicazione tra dispositivi e l'efficienza computazionale. Scoprirai le tecniche di accumulo del gradiente, gradient checkpointing, local stochastic gradient descent e training a precisione mista.

Exercise 1: Accumulo dei gradienti Exercise 2: Accumulo dei gradienti con Accelerator Exercise 3: Accumulo dei gradienti con Trainer Exercise 4: Gradient checkpointing e local SGD Exercise 5: Gradient checkpointing con Accelerator Exercise 6: Gradient checkpointing con Trainer Exercise 7: Local SGD con Accelerator Exercise 8: Addestramento a precisione mista Exercise 9: Training a precisione mista con PyTorch di base Exercise 10: Addestramento a precisione mista con Accelerator Exercise 11: Addestramento a precisione mista con Trainer

Ti concentrerai sugli ottimizzatori come leve per migliorare l'efficienza del training distribuito, evidenziando i compromessi tra AdamW, Adafactor e Adam a 8 bit. Ridurre il numero di parametri o usare basse precisioni aiuta a diminuire l'impronta di memoria di un modello.

Exercise 1: Addestramento bilanciato con AdamW Exercise 2: AdamW con Trainer Exercise 3: AdamW con Accelerator Exercise 4: Calcola la dimensione dell'optimizer Exercise 5: Addestramento efficiente in memoria con Adafactor Exercise 6: Adafactor con Trainer Exercise 7: Adafactor con Accelerator Exercise 8: Addestramento a precisione mista con Adam a 8 bit Exercise 9: Configura l'ottimizzatore Adam a 8 bit Exercise 10: Adam a 8 bit con Trainer Exercise 11: Adam a 8 bit con Accelerator Exercise 12: Quale ottimizzatore è?Exercise 13: Complimenti!