ÎncepețiÎncepe gratuit

Acasă
Cursuri
Antrenament eficient al modelelor AI cu PyTorch

Antrenament eficient din punct de vedere al memoriei cu Adafactor

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

SkillTag.level.advancedSkillTag.label

4.9+

Începe cursul gratuit

Vei pregăti datele pentru antrenament distribuit, împărțindu-le între mai multe dispozitive și copiind modelul pe fiecare dispozitiv. Accelerator oferă o interfață convenabilă pentru pregătirea datelor, iar tu vei învăța cum să preprocesezi imagini, audio și text ca prim pas în antrenamentul distribuit.

Exercise 1: Pregătește modele cu AutoModel și Accelerator Exercise 2: Încărcarea și inspectarea modelelor pre-antrenate Exercise 3: Plasarea automată pe dispozitiv cu Accelerator Exercise 4: Preprocesează imagini și date audio pentru antrenament Exercise 5: Preprocesarea seturilor de date cu imagini Exercise 6: Preprocesarea seturilor de date audio Exercise 7: Pregătirea seturilor de date pentru antrenamentul distribuit Exercise 8: Preprocesarea textului pentru antrenament Exercise 9: Preprocesarea textului cu AutoTokenizer Exercise 10: Salvează și încarcă starea textului preprocesat

În antrenamentul distribuit, fiecare dispozitiv antrenează pe datele sale în paralel. Vei explora două metode de antrenament distribuit: Accelerator permite bucle de antrenament personalizate, iar Trainer simplifică interfața pentru antrenament.

Exercise 1: Ajustarea fină a modelelor cu Trainer Exercise 2: Definește metricile de evaluare Exercise 3: Specifică TrainingArguments Exercise 4: Configurează Trainer-ul Exercise 5: Antrenează modele cu Accelerator Exercise 6: Pregătește un model pentru antrenarea distribuită Exercise 7: Bucle de antrenament înainte și după Accelerator Exercise 8: Construirea unei bucle de antrenament cu Accelerator Exercise 9: Evaluarea modelelor cu Accelerator Exercise 10: Setarea modelului în modul de evaluare Exercise 11: Înregistrarea metricilor de evaluare

Antrenamentul distribuit solicită intens resursele atunci când lucrezi cu modele și seturi de date mari, însă poți face față acestor provocări îmbunătățind utilizarea memoriei, comunicarea între dispozitive și eficiența computațională. Vei descoperi tehnicile de acumulare a gradienților, gradient checkpointing, descindere stochastică a gradientului locală și antrenament cu precizie mixtă.

Exercise 1: Acumularea gradienților Exercise 2: Acumularea gradienților cu Accelerator Exercise 3: Acumularea gradienților cu Trainer Exercise 4: Gradient checkpointing și SGD local Exercise 5: Gradient checkpointing cu Accelerator Exercise 6: Gradient checkpointing cu Trainer Exercise 7: Local SGD cu Accelerator Exercise 8: Antrenament cu precizie mixtă Exercise 9: Antrenament cu precizie mixtă folosind PyTorch de bază Exercise 10: Antrenament cu precizie mixtă folosind Accelerator Exercise 11: Antrenament cu precizie mixtă folosind Trainer

Te vei concentra pe optimizatori ca instrumente pentru îmbunătățirea eficienței antrenamentului distribuit, evidențiind compromisurile dintre AdamW, Adafactor și 8-bit Adam. Reducerea numărului de parametri sau utilizarea preciziei reduse contribuie la micșorarea amprentei de memorie a unui model.

Exercise 1: Antrenament echilibrat cu AdamW Exercise 2: AdamW cu Trainer Exercise 3: AdamW cu Accelerator Exercise 4: Calculează dimensiunea optimizatorului Exercise 5: Antrenament eficient din punct de vedere al memoriei cu Adafactor

Exercițiul curent

Exercise 6: Adafactor cu Trainer Exercise 7: Adafactor cu Accelerator Exercise 8: Antrenament cu precizie mixtă folosind Adam pe 8 biți Exercise 9: Configurează optimizatorul Adam pe 8 biți Exercise 10: Adam pe 8 biți cu Trainer Exercise 11: Adam pe 8 biți cu Accelerator Exercise 12: Ce optimizer este?Exercise 13: Felicitări!