Descubre qué hace tan potente a la arquitectura de deep learning más popular en IA. Conoce los componentes que forman los modelos Transformer, incluidos los famosos mecanismos de self-attention descritos en el reconocido artículo "Attention is All You Need".

Transformers con PyTorch

Desgranando el Transformer

Transformers en PyTorch

Embedding y codificación posicional

Crear embeddings de entrada

Crear codificaciones posicionales

Autoatención multi-cabeza

Implementación de multi-head attention

Empezando la clase MultiHeadAttentionClass

Añadir métodos a la clase MultiHeadAttention

Los bloques fundamentales de los modelos Transformer

Diseña bloques transformer de encoder y decoder, y combínalos con codificación posicional, atención multihead y redes feed-forward por posición para construir tus propias arquitecturas Transformer. Por el camino, desarrollarás una comprensión profunda y apreciarás cómo funcionan los transformers por dentro.

Transformers codificadores

Subcapas feed-forward

La capa transformer del codificador

El cuerpo del transformer codificador

Añadir la cabeza del transformer

Transformers decodificadores

Diseñar una máscara para self-attention

La capa del decodificador

Completar el transformer decodificador

Transformers codificador-decodificador

Añadir cross-attention a la capa del decodificador

Construir el transformer codificador-decodificador

¡Enhorabuena!

Construcción de arquitecturas Transformer

Profundiza en los LLMs y descubre cómo la arquitectura transformer ha revolucionado el deep learning y ha impulsado el auge de la IA generativa. En este curso, aprenderás a crear tu propia arquitectura transformer desde cero, componente a componente. Verás cómo codificar posiciones de tokens, realizar los cálculos del mecanismo de atención y construir componentes modulares de un transformer para tener mayor control sobre su funcionamiento interno. Pasa de cero a héroe de los LLMs hoy mismo.

<h2>Profundiza en la arquitectura Transformer</h2>
Los modelos transformadores han revolucionado el modelado de texto, impulsando el auge de la IA generativa al hacer posibles los grandes modelos de lenguaje (LLM) actuales. En este curso, se estudiarán los componentes clave de esta arquitectura, incluyendo la codificación posicional, los mecanismos de atención y las subcapas de alimentación directa. Programarás estos componentes de forma modular para construir tu propio transformador paso a paso.<br><br><h2>Implementar mecanismos de atención con PyTorch</h2>
El mecanismo de atención es un avance clave que contribuyó a formalizar la arquitectura del transformador. La autoatención permite a los transformadores identificar mejor las relaciones entre los tokens, lo que mejora la calidad del texto generado. Aprende a crear una clase de mecanismo de atención multitesta que constituirá un elemento fundamental en tus modelos de transformador.<br><br><h2>Construye tus propios modelos de Transformers</h2>
Aprende a crear modelos de transformadores solo codificadores, solo decodificadores y codificadores-decodificadores. Aprende a elegir y codificar estas diferentes arquitecturas de transformadores para distintas tareas lingüísticas, como la clasificación de textos y el análisis de opiniones, la generación y finalización de textos, y la traducción secuencia a secuencia.

Deep Learning for Text with PyTorch

¿Qué impulsa a los LLM? Descubre cómo los transformadores revolucionaron el modelado de texto.

Modelos Transformer con PyTorch

¿Por qué triunfan los LLM? Descubre cómo los transformadores revolucionaron el modelado de texto e impulsaron el auge de la IA generativa.

Aprendizaje profundo en Python

Desarrollar grandes modelos lingüísticos

Diseñar una máscara para self-attention

Modelos Transformer con PyTorch

Instrucciones del ejercicio

Ejercicio interactivo práctico