Je bereidt gegevens voor op gedistribueerde training door de data over meerdere apparaten te verdelen en het model op elk apparaat te kopiëren. Accelerator biedt een handige interface voor datavoorbereiding. Je leert hoe je afbeeldingen, audio en tekst preprocesset als eerste stap in gedistribueerde training.

Modellen voorbereiden met AutoModel en Accelerator

Voorgetrainde modellen laden en inspecteren

Automatische apparaatplaatsing met Accelerator

Afbeeldingen en audio preprocessen voor training

Afbeeldingsgegevenssets preprocessen

Audiogegevenssets preprocessen

Gegevenssets voorbereiden voor gedistribueerde training

Tekst vooraf verwerken voor training

Tekst preprocessen met AutoTokenizer

De status van voorbewerkte tekst opslaan en laden

Gegevens voorbereiden met Accelerator

Bij gedistribueerde training traint elk apparaat parallel op zijn eigen data. Je onderzoekt twee methoden voor gedistribueerde training: Accelerator maakt aangepaste trainingslussen mogelijk en Trainer vereenvoudigt de interface voor training.

Modellen fine-tunen met Trainer

Evalueerstatistieken definiëren

Geef de TrainingArguments op

Stel de Trainer in

Modellen trainen met Accelerator

Bereid een model voor op gedistribueerde training

Trainingslussen vóór en na Accelerator

Een trainingslus bouwen met Accelerator

Modellen evalueren met Accelerator

Het model in evaluatiemodus zetten

Evaluatiemetrics loggen

Gedistribueerde training met Accelerator en Trainer

Gedistribueerde training belast de resources bij grote modellen en gegevenssets, maar je kunt deze uitdagingen aanpakken door het geheugenverbruik, de communicatie tussen apparaten en de rekenefficiëntie te verbeteren. Je ontdekt de technieken gradient accumulation, gradient checkpointing, local stochastic gradient descent en mixed precision training.

Gradientaccumulatie

Gradiëntaccumulatie met Accelerator

Gradientaccumulatie met Trainer

Gradient checkpointing en lokale SGD

Gradient checkpointing met Accelerator

Gradient checkpointing met Trainer

Lokale SGD met Accelerator

Training met gemengde precisie

Mixed precision training met basis-PyTorch

Mixed precision training met Accelerator

Mixed precision-training met Trainer

Trainings efficiëntie verbeteren

Je richt je op optimizers als hefbomen om de efficiëntie van gedistribueerde training te verbeteren en belicht de afwegingen tussen AdamW, Adafactor en 8-bit Adam. Het aantal parameters verminderen of lage precisie gebruiken helpt de geheugenvraag van een model te verlagen.

Gebalanceerd trainen met AdamW

AdamW met Trainer

AdamW met Accelerator

Bereken de grootte van de optimizer

Geheugenefficiënt trainen met Adafactor

Adafactor met Trainer

Adafactor met Accelerator

Training met gemengde precisie met 8-bit Adam

Stel de 8-bit Adam-optimizer in

8-bit Adam met Trainer

8-bit Adam met Accelerator

Welke optimizer is het?

Gefeliciteerd!

Trainen met efficiënte optimizers

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Wil je dat je Machine Learning-modellen in een fractie van de tijd trainen? Met gedistribueerde training kun je modellen op meerdere apparaten trainen, zodat je AI-projecten kunt opschalen en trainingstijden kunt verkorten. In deze course leer je hoe je de Hugging Face Accelerator-bibliotheek en PyTorch gebruikt om modellen voor te bereiden op gedistribueerde training op je eigen apparaat. Je verkent data sharding, modelreplicatie en parametersynchronisatie en je doet praktijkervaring op met het toepassen van deze technieken in echte workflows, of je nu met beeld-, tekst- of audiomodellen werkt.

Gedistribueerde training is een essentiële vaardigheid in grootschalige machine learning en helpt je de tijd te verkorten die nodig is om grote taalmodellen met biljoenen parameters te trainen. In deze cursus verken je de tools, technieken en strategieën die essentieel zijn voor efficiënte gedistribueerde training met PyTorch, Accelerator en Trainer. 
<h2>Data voorbereiden voor gedistribueerde training</h2>
Je begint met het voorbereiden van data voor gedistribueerde training door datasets over meerdere apparaten te verdelen en modelkopieën op elk apparaat te implementeren. Je doet praktische ervaring op met het voorbewerken van data voor gedistribueerde omgevingen, waaronder afbeeldingen, audio en tekst.
<h2>Efficiëntietechnieken verkennen</h2>
Zodra je data klaar is, verken je manieren om de efficiëntie te verbeteren bij training en het gebruik van optimizers via meerdere interfaces. Je ziet hoe je deze uitdagingen aanpakt door het geheugengebruik, de communicatie tussen apparaten en de computationele efficiëntie te verbeteren met technieken zoals gradient accumulation, gradient checkpointing, local stochastic gradient descent en mixed precision training. Je begrijpt de afwegingen tussen verschillende optimalizers, zodat je het geheugengebruik van je model kunt verminderen.

Aan het einde van deze cursus beschik je over de kennis en tools om gedistribueerde AI-gestuurde services te bouwen.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Leer hoe je trainingstijden voor grote taalmodellen verkort met Accelerator en Trainer voor distributie.

Efficiënt AI-modellen trainen met PyTorch

Leer hoe je trainingstijden voor large language models verkort met Accelerator en Trainer voor gedistribueerde training

Data Engineer, Amazon

Maak kennis met je instructeur!

Onze roadmap voor efficiënte AI-training

CPU's vs GPU's

Gedistribueerde training

Moeiteloze efficiëntie: voorgetrainde modellen benutten

Apparaatplaatsing met Accelerator

Laten we oefenen!

Gegevens voorbereiden met Accelerator - Modellen voorbereiden met AutoModel en Accelerator

Modellen voorbereiden met AutoModel en Accelerator

Create Your Free Account