Descubra o que faz a arquitetura de deep learning mais quente da IA funcionar! Conheça os componentes que formam os modelos Transformer, incluindo os famosos mecanismos de self-attention descritos no renomado artigo "Attention is All You Need".

Transformers com PyTorch

Dissecando o Transformer

Transformers no PyTorch

Incorporação e codificação posicional

Criando embeddings de entrada

Criando codificações posicionais

Self-attention multihead

Implementando multi-head attention

Iniciando a MultiHeadAttentionClass

Adicionando métodos à classe MultiHeadAttention

Os blocos de construção dos modelos Transformer

Projete blocos de codificador (encoder) e decodificador (decoder) de transformers e combine-os com codificação posicional, atenção multihead e redes feed-forward posição a posição para construir suas próprias arquiteturas Transformer. Ao longo do caminho, você vai desenvolver uma compreensão profunda e apreciar como os transformers funcionam por baixo dos panos.

Transformers codificadores

Subcamadas feed-forward

A camada de transformer do codificador

O corpo do transformer codificador

Adicionando a cabeça do transformer

Transformers decodificadores

Criando uma máscara para self-attention

A camada do decodificador

Concluindo o transformer decodificador

Transformers codificador-decodificador

Adicionando cross-attention à camada do decodificador

Construindo o transformer encoder-decoder

Parabéns!

Construindo arquiteturas Transformer

Aprofunde-se em LLMs e descubra como a arquitetura transformer revolucionou o deep learning e impulsionou a onda de IA generativa! Neste curso, você vai criar sua própria arquitetura transformer do zero, componente por componente. Vai aprender a codificar posições de tokens, realizar cálculos do mecanismo de atenção e construir componentes modulares de transformers para ter mais controle sobre o funcionamento interno do seu modelo. Vá de zero a herói de LLM hoje!

<h2>Mergulhe fundo na arquitetura do Transformer</h2>
Os modelos Transformer revolucionaram a modelagem de texto, dando início ao boom da IA generativa ao possibilitar os grandes modelos de linguagem (LLMs) atuais. Neste curso, você vai conhecer os principais componentes dessa arquitetura, incluindo codificação posicional, mecanismos de atenção e subcamadas feed-forward. Você vai programar esses componentes de forma modular para construir seu próprio transformador passo a passo.<br><br><h2>Implementar mecanismos de atenção com o PyTorch</h2>
O mecanismo de atenção é um desenvolvimento importante que ajudou a formalizar a arquitetura do transformador. A autoatenção permite que os transformadores identifiquem melhor as relações entre os tokens, o que melhora a qualidade do texto gerado. Aprenda a criar uma classe de mecanismo de atenção multi-head que vai ser um elemento fundamental nos seus modelos transformadores.<br><br><h2>Crie seus próprios modelos de transformadores</h2>
Aprenda a criar modelos de transformador apenas codificador, apenas decodificador e codificador-decodificador. Aprenda a escolher e codificar essas diferentes arquiteturas de transformadores para diferentes tarefas de linguagem, incluindo classificação de texto e análise de sentimentos, geração e conclusão de texto e tradução sequência a sequência.

Deep Learning for Text with PyTorch

O que move os LLMs? Descubra como transformadores revolucionaram a modelagem de texto e a IA generativa.

Modelos Transformer com PyTorch

O que faz os LLMs funcionarem? Descubra como os transformadores revolucionaram a modelagem de texto e deram início ao boom da IA generativa.

Aprendizagem profunda Em Python

Desenvolvimento de modelos de idiomas grandes

Transformers no PyTorch

Modelos Transformer com PyTorch

Instruções do exercicio

exercicio interativo prático