Self- vs. multi-head attention

Je bent data-analist in een AI-ontwikkelteam. Je huidige project draait om het begrijpen en implementeren van de concepten self-attention en multi-head attention in een taalmodel. Bekijk de volgende zinnen uit een conversatiegegevensset.

Gebruik de interactieve toepassing om het verschil te verkennen tussen self-attention (relaties tussen specifieke woorden binnen tekst) en multi-head attention (meerdere aspecten van tekst tegelijk verwerken).

Welke analysetaken zijn voorbeelden van self-attention vs. multi-head attention?

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLMs)

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening

Deze oefening maakt deel uit van de cursus

Concepten van Large Language Models (LLMs)

SkillTag.level.beginnerSkillTag.label

4.8+

8434 reviews

Begin gratis met de cursus

Het AI-landschap ontwikkelt zich razendsnel en Large Language Models (LLMs) staan centraal in deze evolutie. Dit hoofdstuk onderzoekt hoe LLMs de ontwikkeling van mensachtige kunstmatige intelligentie vooruithelpen en sectoren transformeren dankzij hun vele toepassingen. Je verkent de uitdagingen en complexiteit van taalmodellering.

Exercise 1: De opkomst van LLM's in het AI-landschap Exercise 2: Definitie van een LLM Exercise 3: LLM's in het AI-landschap Exercise 4: AI- versus LLM-toepassingen Exercise 5: Toepassingen in de praktijk Exercise 6: Bedrijfstoepassingen Exercise 7: Multimodale toepassingen Exercise 8: Data-gedreven taken automatiseren Exercise 9: Uitdagingen van taalmodellering Exercise 10: Wat kan een taalmodel doen?Exercise 11: Single- vs. multi-task learning

Dit hoofdstuk benadrukt de nieuwheid van LLMs en hun opkomende mogelijkheden, en schetst verschillende NLP-technieken voor datapreparatie. Je leert welke uitdagingen komen kijken bij het trainen van LLMs en hoe fine-tuning die effectief kan aanpakken. Ook begrijp je hoe N-shot learning-technieken zorgen voor efficiënte aanpassing van voorgetrainde modellen bij beperkte gelabelde data.

Exercise 1: De nieuwheid van LLM's Exercise 2: Problemen oplossen met LLM's Exercise 3: Traditionele modellen vs. LLM's Exercise 4: Algemeen overzicht van NLP Exercise 5: Datavoorbereiding Exercise 6: Tekstvoorbewerking en -representatie Exercise 7: Word embeddings boven bag-of-words Exercise 8: Fine-tuning Exercise 9: Uitdagingen bij het bouwen van LLM's Exercise 10: Pas een voorgetraind model aan Exercise 11: Pre-trained of fine-tuned?Exercise 12: Leertechnieken Exercise 13: Een model fine-tunen Exercise 14: N-shot learning

In dit hoofdstuk leer je over de fundamentele bouwstenen voor het trainen van een LLM, zoals pretrainingstechnieken. Je krijgt ook een intuïtief begrip van complexe concepten zoals de transformer-architectuur, inclusief het attention-mechanisme. Het hoofdstuk behandelt een geavanceerde fine-tuningtechniek en vat het trainingsproces samen om een LLM te voltooien.

Exercise 1: Bouwstenen om LLM's te trainen Exercise 2: Gemaskeerde taal Exercise 3: Voorspel het volgende woord Exercise 4: Vanaf nul opbouwen Exercise 5: De transformer introduceren Exercise 6: Relaties tussen ver verwijderde woorden Exercise 7: Transformer-onderdelen Exercise 8: Attention-mechanismen Exercise 9: Focus van multi-head attention Exercise 10: Self- vs. multi-head attention

Huidige oefening

Exercise 11: Geavanceerde fine-tuning Exercise 12: End-to-end trainen Exercise 13: Training, afstemmen & feedback Exercise 14: Een LLM bouwen

In dit hoofdstuk gaan we in op de belangrijkste aandachtspunten bij het trainen van LLMs, zoals de beschikbaarheid van veel data, datakwaliteit, nauwkeurige labeling en de gevolgen van bevooroordeelde data. Je bekijkt ook diverse LLM-risico's, zoals gegevensprivacy, ethische kwesties en milieu-impact. Tot slot besluit het hoofdstuk met een bespreking van opkomende onderzoeksgebieden en het zich ontwikkelende LLM-landschap.

Exercise 1: Zorgen en aandachtspunten rond data Exercise 2: Is je model eerlijk?Exercise 3: Onbevooroordeeld en relevant Exercise 4: Klantservice van een bank Exercise 5: Ethische en milieukundige bezorgdheden Exercise 6: Verantwoord gebruik Exercise 7: Ethiek en milieu Exercise 8: Waar gaan LLM's naartoe?Exercise 9: Creativiteit vs. efficiëntie Exercise 10: Literaire werken analyseren Exercise 11: Tijd om af te ronden