Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformers with PyTorch

Breaking down the Transformer

PyTorch Transformers

Embedding and positional encoding

Creating input embeddings

Creating positional encodings

Multi-head self-attention

Implementing multi-head attention

Starting the MultiHeadAttentionClass

Adding methods to the MultiHeadAttention class

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Transformers codificadores

Subcamadas feed-forward

A camada de transformer do codificador

O corpo do transformer codificador

Adicionando a cabeça do transformer

Transformers decodificadores

Criando uma máscara para self-attention

A camada do decodificador

Concluindo o transformer decodificador

Transformers codificador-decodificador

Adicionando cross-attention à camada do decodificador

Construindo o transformer encoder-decoder

Parabéns!

Building Transformer Architectures

Aprofunde-se em LLMs e descubra como a arquitetura transformer revolucionou o deep learning e impulsionou a onda de IA generativa! Neste curso, você vai criar sua própria arquitetura transformer do zero, componente por componente. Vai aprender a codificar posições de tokens, realizar cálculos do mecanismo de atenção e construir componentes modulares de transformers para ter mais controle sobre o funcionamento interno do seu modelo. Vá de zero a herói de LLM hoje!

<h2>Mergulhe fundo na arquitetura do Transformer</h2>
Os modelos Transformer revolucionaram a modelagem de texto, dando início ao boom da IA generativa ao possibilitar os grandes modelos de linguagem (LLMs) atuais. Neste curso, você vai conhecer os principais componentes dessa arquitetura, incluindo codificação posicional, mecanismos de atenção e subcamadas feed-forward. Você vai programar esses componentes de forma modular para construir seu próprio transformador passo a passo.<br><br><h2>Implementar mecanismos de atenção com o PyTorch</h2>
O mecanismo de atenção é um desenvolvimento importante que ajudou a formalizar a arquitetura do transformador. A autoatenção permite que os transformadores identifiquem melhor as relações entre os tokens, o que melhora a qualidade do texto gerado. Aprenda a criar uma classe de mecanismo de atenção multi-head que vai ser um elemento fundamental nos seus modelos transformadores.<br><br><h2>Crie seus próprios modelos de transformadores</h2>
Aprenda a criar modelos de transformador apenas codificador, apenas decodificador e codificador-decodificador. Aprenda a escolher e codificar essas diferentes arquiteturas de transformadores para diferentes tarefas de linguagem, incluindo classificação de texto e análise de sentimentos, geração e conclusão de texto e tradução sequência a sequência.

Deep Learning for Text with PyTorch

O que move os LLMs? Descubra como transformadores revolucionaram a modelagem de texto e a IA generativa.

Modelos Transformer com PyTorch

O que faz os LLMs funcionarem? Descubra como os transformadores revolucionaram a modelagem de texto e deram início ao boom da IA generativa.

Parabéns!

Create Your Free Account