Training, finetunen en feedback

Je werkt aan een project om een model te ontwikkelen met de Reinforcement Learning via menselijke feedback (RLHF)-techniek om de prestaties te optimaliseren in een klantondersteuningsomgeving.

Welke van deze opties beschrijft het RLHF-proces het meest accuraat?

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLM's)

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLM's)

SkillTag.level.beginnerSkillTag.label

4.8+

Begin gratis met de cursus

Het AI-landschap ontwikkelt zich razendsnel, en Large Language Models (LLM's) staan vooraan in deze evolutie. In dit hoofdstuk bekijk je hoe LLM's de ontwikkeling van mensachtige kunstmatige intelligentie versnellen en sectoren veranderen met hun vele toepassingen. Je verkent ook de uitdagingen en complexiteit van taalmodellering.

Exercise 1: De opkomst van LLM's in het AI-landschap Exercise 2: Definitie van een LLM Exercise 3: LLM's in het AI-landschap Exercise 4: AI- vs. LLM-toepassingen Exercise 5: Toepassingen in de echte wereld Exercise 6: Toepassingen in het bedrijfsleven Exercise 7: Multimodale toepassingen Exercise 8: Datagedreven taken automatiseren Exercise 9: Uitdagingen van taalmodellering Exercise 10: Wat kan een taalmodel?Exercise 11: Single- vs. multi-task learning

Dit hoofdstuk benadrukt de nieuwheid van LLM's en hun opkomende mogelijkheden, en zet verschillende NLP-technieken voor datavoorbereiding op een rij. Je leert welke uitdagingen het trainen van LLM's kent en hoe fine-tuning die effectief kan aanpakken. Ook begrijp je hoe N-shot learning-technieken een efficiënt gebruik van voorgetrainde modellen mogelijk maken wanneer er weinig gelabelde data zijn.

Exercise 1: De nieuwheid van LLM's Exercise 2: Problemen oplossen met LLM's Exercise 3: Traditionele modellen vs. LLM's Exercise 4: Algemeen overzicht van NLP Exercise 5: Datavoorbereiding Exercise 6: Voorbewerking en representatie van tekst Exercise 7: Woordembeddings in plaats van bag-of-words Exercise 8: Fijnslijpen Exercise 9: Uitdagingen bij het bouwen van LLM's Exercise 10: Pas een voorgetraind model aan Exercise 11: Pre-trained of fine-tuned?Exercise 12: Leertechnieken Exercise 13: Een model fine-tunen Exercise 14: N-shot learning

In dit hoofdstuk leer je over de fundamentele bouwstenen voor het trainen van een LLM, zoals pretrainingstechnieken. Je krijgt ook een intuïtief begrip van complexe concepten zoals de transformer-architectuur, inclusief het attention-mechanisme. Het hoofdstuk bespreekt een geavanceerde fine-tuningtechniek en vat het trainingsproces samen om een LLM te voltooien.

Exercise 1: Bouwstenen om LLM's te trainen Exercise 2: Gemaskeerde taal Exercise 3: Voorspel het volgende woord Exercise 4: Vanaf nul opbouwen Exercise 5: Introductie van de transformer Exercise 6: Relaties tussen ver uit elkaar staande woorden Exercise 7: Transformer-onderdelen Exercise 8: Attention-mechanismen Exercise 9: Focus van multi-head attention Exercise 10: Self- vs. multi-head attention Exercise 11: Geavanceerde fine-tuning Exercise 12: End-to-end trainen Exercise 13: Training, finetunen en feedback

Huidige oefening

Exercise 14: Een LLM bouwen

In dit hoofdstuk gaan we in op de belangrijkste overwegingen bij het trainen van LLM's, zoals de beschikbaarheid van veel data, datakwaliteit, nauwkeurige labeling en de gevolgen van bevooroordeelde data. Je bekijkt ook verschillende LLM-risico's, zoals gegevensprivacy, ethische kwesties en ecologische impact. Tot slot sluit het hoofdstuk af met opkomende onderzoeksgebieden en het veranderende landschap van LLM's.

Exercise 1: Zorgen en aandachtspunten rond data Exercise 2: Is je model eerlijk?Exercise 3: Onbevooroordeeld en relevant Exercise 4: Klantservice van een bank Exercise 5: Ethische en milieuoverwegingen Exercise 6: Verantwoord gebruik Exercise 7: Ethiek en milieu Exercise 8: Waar gaan LLM's naartoe?Exercise 9: Creativiteit vs. efficiëntie Exercise 10: Literaire werken analyseren Exercise 11: Tijd om af te ronden