Träning, finjustering och feedback

Du arbetar med ett projekt där du ska utveckla en modell med tekniken Reinforcement Learning through Human Feedback (RLHF) för att optimera dess prestanda i en kundtjänstmiljö.

Vilket av dessa alternativ beskriver RLHF-processen mest korrekt?

Den här övningen är en del av kursen

Koncept inom stora språkmodeller (LLM)

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Koncept inom stora språkmodeller (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Starta kursen gratis

AI-landskapet förändras snabbt, och stora språkmodeller (LLM) är i framkant av den utvecklingen. Det här kapitlet undersöker hur LLM:er driver framstegen mot en mer mänsklig artificiell intelligens och hur de omformar industrier genom sina många tillämpningar. Du utforskar de utmaningar och den komplexitet som är förknippad med språkmodellering.

Exercise 1: LLM:ers framväxt inom AI-landskapet Exercise 2: Definition av en LLM Exercise 3: LLM:er i AI-landskapet Exercise 4: AI vs. LLM-applikationer Exercise 5: Verkliga tillämpningar Exercise 6: Affärsapplikationer Exercise 7: Multimodala tillämpningar Exercise 8: Automatisera datadrivna uppgifter Exercise 9: Utmaningar med språkmodellering Exercise 10: Vad kan en språkmodell göra?Exercise 11: Enkeluppgifts- vs. fleruppgiftsinlärning

Det här kapitlet lyfter fram vad som gör LLM:er unika och vilka nya förmågor de besitter, samt ger en översikt av olika NLP-tekniker för dataförberedelse. Du lär dig om utmaningarna med att träna LLM:er och hur finjustering kan hantera dem på ett effektivt sätt. Du får också förståelse för hur N-shot-inlärning möjliggör effektiv anpassning av förtränade modeller när märkt data är begränsad.

Exercise 1: LLM:ers nyhet Exercise 2: Problemlösning med LLM:er Exercise 3: Traditionella modeller vs. LLM:er Exercise 4: Generaliserad översikt över NLP Exercise 5: Dataförberedelse Exercise 6: Textförbehandling och textrepresentation Exercise 7: Ordinbäddningar jämfört med bag-of-words Exercise 8: Finjustering Exercise 9: Utmaningar med att bygga LLM:er Exercise 10: Anpassa en förtränad modell Exercise 11: Förtränad eller finjusterad?Exercise 12: Inlärningstekniker Exercise 13: Finjustera en modell Exercise 14: N-shot-inlärning

I det här kapitlet lär du dig om de grundläggande byggstenarna för att träna en LLM, till exempel förträningstekniker. Du får också en intuitiv förståelse för komplexa koncept som transformerarkitektur, inklusive uppmärksamhetsmekanismen. Kapitlet behandlar en avancerad finjusteringsteknik och sammanfattar träningsprocessen för att färdigställa en LLM.

Exercise 1: Byggstenar för att träna LLM:er Exercise 2: Maskerat språk Exercise 3: Förutsäg nästa ord Exercise 4: Bygga från grunden Exercise 5: Introduktion till transformatorn Exercise 6: Relationer mellan ord på avstånd Exercise 7: Transformatorkomponenter Exercise 8: Uppmärksamhetsmekanismer Exercise 9: Multi-head attentions fokus Exercise 10: Självuppmärksamhet vs. multi-head-uppmärksamhet Exercise 11: Avancerad finjustering Exercise 12: Träning från start till slut Exercise 13: Träning, finjustering och feedback

Aktuell övning

Exercise 14: Att bygga en LLM

I det här kapitlet fördjupar vi oss i viktiga överväganden vid träning av LLM:er, såsom tillgång till stora datamängder, datakvalitet, korrekt märkning och konsekvenserna av partisk data. Du granskar också olika LLM-risker som dataintegritet, etiska frågor och miljöpåverkan. Kapitlet avslutas med en diskussion om framväxande forskningsområden och det föränderliga LLM-landskapet.

Exercise 1: Datarelaterade farhågor och överväganden Exercise 2: Är din modell rättvis?Exercise 3: Opartisk och relevant Exercise 4: Kundtjänst på en bank Exercise 5: Etiska och miljömässiga risker Exercise 6: Ansvarsfull användning Exercise 7: Etik och miljö Exercise 8: Vart är LLM:er på väg?Exercise 9: Kreativitet kontra effektivitet Exercise 10: Analysera litterära verk Exercise 11: Dags att summera