Vanaf nul opbouwen

Je bent een data scientist die van plan is om grote taalmodellen vanaf nul te ontwikkelen. Dat betekent dat je een groot generiek model bouwt voor verschillende toepassingen die de organisatie voorziet.

De organisatie wil ook een klantenservicebot bouwen om het hoge volume aan klantvragen af te handelen.

Gebruik de interactieve applicatie om de technieken in de juiste volgorde te zetten voor het bouwen van de language model-pijplijn.

Wat is de juiste volgorde van stappen bij het bouwen van een LLM vanaf nul?

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLMs)

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLMs)

SkillTag.level.beginnerSkillTag.label

4.8+

8433 reviews

Begin gratis met de cursus

Het AI-landschap ontwikkelt zich razendsnel en Large Language Models (LLMs) staan centraal in deze evolutie. Dit hoofdstuk onderzoekt hoe LLMs de ontwikkeling van mensachtige kunstmatige intelligentie vooruithelpen en sectoren transformeren dankzij hun vele toepassingen. Je verkent de uitdagingen en complexiteit van taalmodellering.

Exercise 1: De opkomst van LLM's in het AI-landschap Exercise 2: Definitie van een LLM Exercise 3: LLM's in het AI-landschap Exercise 4: AI- versus LLM-toepassingen Exercise 5: Toepassingen in de praktijk Exercise 6: Bedrijfstoepassingen Exercise 7: Multimodale toepassingen Exercise 8: Data-gedreven taken automatiseren Exercise 9: Uitdagingen van taalmodellering Exercise 10: Wat kan een taalmodel doen?Exercise 11: Single- vs. multi-task learning

Dit hoofdstuk benadrukt de nieuwheid van LLMs en hun opkomende mogelijkheden, en schetst verschillende NLP-technieken voor datapreparatie. Je leert welke uitdagingen komen kijken bij het trainen van LLMs en hoe fine-tuning die effectief kan aanpakken. Ook begrijp je hoe N-shot learning-technieken zorgen voor efficiënte aanpassing van voorgetrainde modellen bij beperkte gelabelde data.

Exercise 1: De nieuwheid van LLM's Exercise 2: Problemen oplossen met LLM's Exercise 3: Traditionele modellen vs. LLM's Exercise 4: Algemeen overzicht van NLP Exercise 5: Datavoorbereiding Exercise 6: Tekstvoorbewerking en -representatie Exercise 7: Word embeddings boven bag-of-words Exercise 8: Fine-tuning Exercise 9: Uitdagingen bij het bouwen van LLM's Exercise 10: Pas een voorgetraind model aan Exercise 11: Pre-trained of fine-tuned?Exercise 12: Leertechnieken Exercise 13: Een model fine-tunen Exercise 14: N-shot learning

In dit hoofdstuk leer je over de fundamentele bouwstenen voor het trainen van een LLM, zoals pretrainingstechnieken. Je krijgt ook een intuïtief begrip van complexe concepten zoals de transformer-architectuur, inclusief het attention-mechanisme. Het hoofdstuk behandelt een geavanceerde fine-tuningtechniek en vat het trainingsproces samen om een LLM te voltooien.

Exercise 1: Bouwstenen om LLM's te trainen Exercise 2: Gemaskeerde taal Exercise 3: Voorspel het volgende woord Exercise 4: Vanaf nul opbouwen

Huidige oefening

Exercise 5: De transformer introduceren Exercise 6: Relaties tussen ver verwijderde woorden Exercise 7: Transformer-onderdelen Exercise 8: Attention-mechanismen Exercise 9: Focus van multi-head attention Exercise 10: Self- vs. multi-head attention Exercise 11: Geavanceerde fine-tuning Exercise 12: End-to-end trainen Exercise 13: Training, afstemmen & feedback Exercise 14: Een LLM bouwen

In dit hoofdstuk gaan we in op de belangrijkste aandachtspunten bij het trainen van LLMs, zoals de beschikbaarheid van veel data, datakwaliteit, nauwkeurige labeling en de gevolgen van bevooroordeelde data. Je bekijkt ook diverse LLM-risico's, zoals gegevensprivacy, ethische kwesties en milieu-impact. Tot slot besluit het hoofdstuk met een bespreking van opkomende onderzoeksgebieden en het zich ontwikkelende LLM-landschap.

Exercise 1: Zorgen en aandachtspunten rond data Exercise 2: Is je model eerlijk?Exercise 3: Onbevooroordeeld en relevant Exercise 4: Klantservice van een bank Exercise 5: Ethische en milieukundige bezorgdheden Exercise 6: Verantwoord gebruik Exercise 7: Ethiek en milieu Exercise 8: Waar gaan LLM's naartoe?Exercise 9: Creativiteit vs. efficiëntie Exercise 10: Literaire werken analyseren Exercise 11: Tijd om af te ronden