Du förbereder data för distribuerad träning genom att dela upp data över flera enheter och kopiera modellen på varje enhet. Accelerator erbjuder ett smidigt gränssnitt för dataförberedelse, och du lär dig att förbehandla bilder, ljud och text som ett första steg i distribuerad träning.

Förbered modeller med AutoModel och Accelerator

Läsa in och granska förtränade modeller

Automatisk enhetsplacering med Accelerator

Förbehandla bilder och ljud för träning

Förbehandla bilddatamängder

Förbehandla ljuddatamängder

Förbered datamängder för distribuerad träning

Förbehandla text för träning

Förbehandla text med AutoTokenizer

Spara och läs in tillståndet för förbehandlad text

Dataförberedelse med Accelerator

Vid distribuerad träning tränar varje enhet på sin del av data parallellt. Du undersöker två metoder för distribuerad träning: Accelerator möjliggör anpassade träningsloopar, medan Trainer förenklar gränssnittet för träning.

Finjustera modeller med Trainer

Definiera utvärderingsmått

Ange TrainingArguments

Konfigurera Trainer

Träna modeller med Accelerator

Förbered en modell för distribuerad träning

Träningsloopar före och efter Accelerator

Bygg en träningsloop med Accelerator

Utvärdera modeller med Accelerator

Sätt modellen i utvärderingsläge

Logga utvärderingsmått

Distribuerad träning med Accelerator och Trainer

Distribuerad träning belastar resurser hårt med stora modeller och datamängder, men du kan hantera dessa utmaningar genom att förbättra minnesanvändning, enhetskommunikation och beräkningseffektivitet. Du lär dig teknikerna gradientackumulering, gradientkontrollpunkter, lokalt stokastiskt gradientnedsteg och träning med blandad precision.

Gradientackumulering

Gradientackumulering med Accelerator

Gradientackumulering med Trainer

Gradientkontrollpunkter och lokal SGD

Gradientkontrollpunkter med Accelerator

Gradientkontrollpunkter med Trainer

Lokal SGD med Accelerator

Träning med blandad precision

Träning med blandad precision i grundläggande PyTorch

Träning med mixad precision och Accelerator

Träning med mixad precision via Trainer

Förbättra träningseffektiviteten

Här fokuserar du på optimerare som verktyg för att förbättra effektiviteten vid distribuerad träning, med fokus på avvägningarna mellan AdamW, Adafactor och 8-bit Adam. Att minska antalet parametrar eller använda lägre precision bidrar till att minska modellens minneskrav.

Balanserad träning med AdamW

AdamW med Trainer

AdamW med Accelerator

Beräkna optimerarens storlek

Minneseffektiv träning med Adafactor

Adafactor med Trainer

Adafactor med Accelerator

Träning med mixad precision och 8-bitars Adam

Konfigurera 8-bitars Adam-optimeraren

8-bitars Adam med Trainer

8-bitars Adam med Accelerator

Alternativ

AdamW

Adafactor

8-bit Adam

Vilken optimerare är det?

Grattis!

Träning med effektiva optimerare

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Vill du träna dina maskininlärningsmodeller på en bråkdel av den tid det tar idag? Distribuerad träning låter dig träna modeller på flera enheter samtidigt, vilket gör det möjligt att skala upp dina AI-projekt och korta ner träningstiderna. I den här kursen lär du dig att använda Hugging Face Accelerator-biblioteket och PyTorch för att förbereda modeller för distribuerad träning på din enhet. Du utforskar datasegmentering, modellreplikering och parametersynkronisering, och får praktisk erfarenhet av att tillämpa dessa tekniker i verkliga arbetsflöden – oavsett om du arbetar med bild-, text- eller ljudmodeller.

Distribuerad träning är en viktig färdighet inom storskalig maskininlärning och hjälper dig att minska tiden som krävs för att träna stora språkmodeller med biljoner parametrar. I den här kursen kommer du att utforska de verktyg, tekniker och strategier som är avgörande för effektiv distribuerad träning med PyTorch, Accelerator och Trainer. 
<h2>Förbereda data för distribuerad träning</h2>
Du börjar med att förbereda data för distribuerad träning genom att dela upp datamängder över flera enheter och distribuera modellkopior till varje enhet. Du får praktisk erfarenhet av att förbehandla data för distribuerade miljöer, inklusive bilder, ljud och text.
<h2>Utforska effektivitetstekniker</h2>
När dina data är klara kommer du att utforska sätt att förbättra effektiviteten i träning och användning av optimerare över flera gränssnitt. Du kommer att se hur du kan hantera dessa utmaningar genom att förbättra minnesanvändning, enhetskommunikation och beräkningseffektivitet med tekniker som gradient accumulation, gradient checkpointing, lokal stokastisk gradient descent och mixed precision training. Du kommer att förstå avvägningarna mellan olika optimerare för att hjälpa dig att minska din modells minnesavtryck.

I slutet av den här kursen kommer du att ha kunskapen och verktygen för att bygga distribuerade AI-drivna tjänster.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Lär dig minska träningstider för stora språkmodeller med Accelerator och Trainer för distribuerad träning.

Effektiv AI-modellträning med PyTorch

Lär dig hur du minskar träningstider för stora språkmodeller med Accelerator och Trainer för distribuerad träning

Data Engineer, Amazon

Mixed precision-träning med 8-bitars Adam

Optimerare för träningseffektivitet

Hur fungerar 8-bitars Adam?

Hur sparar 8-bitars Adam minne?

Uppskatta minnesanvändning för 8-bitars Adam

Implementera 8-bitars Adam med Trainer

Implementera 8-bitars Adam med Accelerator

Beräkna minnesanvändning för 8-bitars Adam

Lass uns üben!

Träning med effektiva optimerare - Träning med mixad precision och 8-bitars Adam

Träning med mixad precision och 8-bitars Adam

Create Your Free Account