Lär dig vad som driver den hetaste djupinlärningsarkitekturen inom AI! Utforska komponenterna som utgör transformermodeller, inklusive de välkända självuppmärksamhetsmekanismerna som beskrivs i den banbrytande artikeln "Attention is All You Need."

Transformers med PyTorch

Transformer-arkitekturens byggstenar

Inbäddning och positionskodning

Skapa inbäddningar av indata

Skapa positionskodningar

Multi-head självuppmärksamhet

Implementera multi-head attention

Börja bygga MultiHeadAttention-klassen

Lägga till metoder i klassen MultiHeadAttention

Transformermodellernas byggstenar

Designa encoder- och decoderblock för transformers och kombinera dem med positionskodning, flerhövdad uppmärksamhet och positionsvisa framåtnätverk för att bygga din egen transformerarkitektur. Längs vägen utvecklar du en djup förståelse för hur transformers fungerar under huven.

Encoder-transformers

Feed-forward-dellager

Encodertransformatorlagret

Encodertransformerns stomme

Lägga till transformerhuvudet

Decoder-transformers

Designa en mask för självuppmärksamhet

Avkodarlagret

Slutför avkodartransformatorn

Encoder-decoder-transformers

Lägga till korsattention i avkodarlagret

Bygg encoder-decoder-transformern

Grattis!

Bygg transformerarkitekturer

Fördjupa dig i LLM:er och lär dig hur transformerarkitekturen har revolutionerat djupinlärning och möjliggjort genombrottet för generativ AI! I den här kursen bygger du din egen transformerarkitektur från grunden, komponent för komponent. Du lär dig att koda tokenpositioner, utföra beräkningar för uppmärksamhetsmekanismen och bygga modulära transformerkomponenter – så att du får full kontroll över transformerns inre uppbyggnad. Gå från nybörjare till LLM-expert!

<h2>Fördjupa dig i Transformer-arkitekturen</h2>
Transformer-modeller har revolutionerat textmodellering och satt fart på generativ AI-boomen genom att möjliggöra dagens stora språkmodeller (LLM:er). I den här kursen kommer du att titta på de viktigaste komponenterna i denna arkitektur, inklusive positionskodning, uppmärksamhetsmekanismer och feed-forward-underlager. Du kommer att koda dessa komponenter på ett modulärt sätt för att bygga din egen transformer steg för steg.<br><br><h2>Implementera uppmärksamhetsmekanismer med PyTorch</h2>
Uppmärksamhetsmekanismen är en viktig utveckling som hjälpte till att formalisera transformerarkitekturen. Självuppmärksamhet gör det möjligt för transformers att bättre identifiera relationer mellan tokens, vilket förbättrar kvaliteten på genererad text. Lär dig hur du skapar en klass för en multi-head attention-mekanism som kommer att utgöra en viktig byggsten i dina transformer-modeller.<br><br><h2>Bygg dina egna Transformer-modeller</h2>
Lär dig att bygga transformer-modeller med endast encoder, endast decoder och encoder-decoder. Lär dig hur du väljer och kodar dessa olika transformerarkitekturer för olika språkuppgifter, inklusive textklassificering och sentimentanalys, textgenerering och komplettering samt sekvens-till-sekvens-översättning.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Vad driver LLMs? Upptäck hur transformatorer revolutionerade textmodellering och startade AI-boomen.

Transformermodeller med PyTorch

Vad får LLM:er att fungera? Upptäck hur transformatorer revolutionerade textmodellering och satte fart på generativ AI-boomen.

Djupinlärning i Python

Utveckla stora språkmodeller

Transformers med PyTorch

Transformermodeller med PyTorch

Övningsinstruktioner

Interaktiv övning med praktiskt arbete