Odkryj, co sprawia, że najpopularniejsza architektura głębokiego uczenia w świecie AI działa tak skutecznie! Poznaj komponenty modeli Transformer, w tym słynny mechanizm samo-uwagi opisany w przełomowym artykule „Attention is All You Need".

Transformery z PyTorch

Anatomia Transformera

Transformery w PyTorch

Osadzanie i kodowanie pozycyjne

Tworzenie osadzeń wejściowych

Tworzenie kodowań pozycyjnych

Wielogłowicowa samo-atencja

Implementacja wielogłowicowej atencji

Tworzenie klasy MultiHeadAttention

Dodawanie metod do klasy MultiHeadAttention

Elementy składowe modeli Transformer

Projektuj bloki enkodera i dekodera transformera, a następnie łącz je z kodowaniem pozycyjnym, wielogłowym mechanizmem uwagi i sieciami feed-forward działającymi pozycyjnie, aby zbudować własne architektury Transformer. Po drodze dogłębnie zrozumiesz, jak transformery działają od środka.

Kodery transformera

Podwarstwy feed-forward

Warstwa enkodera transformera

Ciało transformera enkodera

Dodawanie głowy transformera

Dekodery w transformerach

Projektowanie maski dla mechanizmu samo-uwagi

Warstwa dekodera

Uzupełnianie transformera dekodera

Transformery enkoder-dekoder

Dodawanie uwagi krzyżowej do warstwy dekodera

Budowanie transformera enkoder-dekoder

Gratulacje!

Budowanie architektur Transformer

Zanurz się głębiej w świat dużych modeli językowych i odkryj, jak architektura transformera zrewolucjonizowała uczenie głębokie oraz zapoczątkowała boom na generatywną sztuczną inteligencję! W tym kursie nauczysz się budować własną architekturę transformera od podstaw – komponent po komponencie. Dowiesz się, jak kodować pozycje tokenów, wykonywać obliczenia mechanizmu uwagi oraz budować modularne komponenty transformera, zyskując pełną kontrolę nad jego wewnętrznymi mechanizmami. Zacznij od zera i zostań ekspertem od dużych modeli językowych!

<h2>Dogłębne poznanie architektury Transformer</h2>
Modele transformer zrewolucjonizowały modelowanie tekstu, zapoczątkowując boom na generatywną sztuczną inteligencję dzięki umożliwieniu powstania dzisiejszych dużych modeli językowych (LLM). W tym kursie przyjrzysz się kluczowym elementom tej architektury, w tym kodowaniu pozycyjnemu, mechanizmom uwagi i podwarstwom feed-forward. Będziesz kodować te komponenty w modułowy sposób, aby krok po kroku zbudować własny transformer.<br><br><h2>Implementuj mechanizmy uwagi z PyTorch</h2>
Mechanizm uwagi to kluczowy przełom, który pomógł sformalizować architekturę transformera. Samo-uwaga pozwala transformerom lepiej identyfikować relacje między tokenami, co poprawia jakość generowanego tekstu. Dowiedz się, jak stworzyć klasę mechanizmu wielogłowej uwagi, która będzie stanowić kluczowy element składowy Twoich modeli transformer.<br><br><h2>Zbuduj własne modele Transformer</h2>
Naucz się budować modele transformerów typu encoder-only, decoder-only i encoder-decoder. Dowiedz się, jak wybierać i kodować różne architektury transformerów do różnych zadań językowych, w tym klasyfikacji tekstu i analizy sentymentu, generowania i uzupełniania tekstu oraz tłumaczenia sekwencja do sekwencji.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Co napędza LLM? Dowiedz się, jak transformatory zrewolucjonizowały modelowanie tekstu i AI.

Modele Transformer w PyTorch

Co sprawia, że LLM-y działają? Odkryj, jak transformatory zrewolucjonizowały modelowanie tekstu i zapoczątkowały boom na generatywną AI.

Deep Learning w Pythonie

Tworzenie dużych modeli językowych

Implementacja wielogłowicowej atencji

Modele Transformer w PyTorch

Instrukcje do ćwiczenia

Interaktywne ćwiczenie praktyczne