Self-attention vs. multi-head attention

Eres analista de datos en un equipo de desarrollo de IA. Tu proyecto actual consiste en comprender e implementar los conceptos de self-attention y multi-head attention en un modelo de lenguaje. Considera las siguientes frases de un conjunto de datos de conversaciones.

Usa la aplicación interactiva para explorar la diferencia entre la self-attention (relaciones entre palabras específicas dentro del texto) y la multi-head attention (procesamiento simultáneo de múltiples aspectos del texto).

¿Qué tareas de análisis son ejemplos de self-attention frente a multi-head attention?

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

Ver curso

ejercicio interactivo práctico

Convierte la teoría en práctica con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

PrincipianteNivel de habilidad

4.8+

8387 reviews

Empieza el curso gratis

El panorama de la IA evoluciona rápidamente, y los modelos de lenguaje de gran tamaño (LLM) se encuentran a la vanguardia de esta evolución. En este capítulo se examina cómo están avanzando los LLM en el desarrollo de una inteligencia artificial similar a la humana, y cómo están transformando los diversos sectores con sus numerosas aplicaciones. Descubrirás los retos y la complejidad que se asocian a los modelos de lenguaje.

Exercise 1: El auge de los LLM en el panorama de la IA Exercise 2: Definición de un LLM Exercise 3: Los LLM en el panorama de la IA Exercise 4: La IA frente a aplicaciones de LLM Exercise 5: Aplicaciones del mundo real Exercise 6: Aplicaciones para empresas Exercise 7: Aplicaciones multimodales Exercise 8: Automatiza tareas basadas en datos Exercise 9: Retos del modelado lingüístico Exercise 10: ¿Qué puede hacer un modelo de lenguaje?Exercise 11: Aprendizaje monotarea frente a multitarea

Este capítulo destaca la innovación de los LLM y sus capacidades emergentes, al mismo tiempo que describe diversas técnicas de PLN para la preparación de datos. Aprenderás cuáles son los retos que plantea el entrenamiento de los LLM y cómo superarlos de forma eficaz con el ajuste fino. También comprenderás cómo las técnicas de aprendizaje N-shot permiten una adaptación eficiente de los modelos preentrenados cuando se enfrentan a datos etiquetados limitados.

Exercise 1: Novedad de los LLM Exercise 2: Resolución de problemas con LLMs Exercise 3: Modelos tradicionales frente a LLM Exercise 4: Visión general del PLN Exercise 5: Preparación de datos Exercise 6: Preprocesamiento y representación de textos Exercise 7: Encajes léxicos mejor que bolsa de palabras Exercise 8: Ajuste fino Exercise 9: Retos al construir LLMs Exercise 10: Adaptar un modelo preentrenado Exercise 11: ¿Preentrenado o ajustado?Exercise 12: Técnicas de aprendizaje Exercise 13: Ajustar un modelo Exercise 14: Aprendizaje N-shot

En este capítulo, conocerás los componentes fundamentales del entrenamiento de un LLM, como las técnicas de preentrenamiento. También adquirirás una comprensión intuitiva de conceptos complejos como la arquitectura de los transformadores, incluido el mecanismo de atención. El capítulo muestra una técnica avanzada de ajuste fino y resume el proceso de entrenamiento que se necesita para completar un LLM.

Exercise 1: Componentes para entrenar LLM Exercise 2: Lenguaje enmascarado Exercise 3: Predice la siguiente palabra Exercise 4: Construir desde cero Exercise 5: Presentación del transformador Exercise 6: Relaciones entre palabras distantes Exercise 7: Componentes del transformador Exercise 8: Mecanismos de atención Exercise 9: Detalles de Multi-Head Attention Exercise 10: Self-attention vs. multi-head attention

Ejercicio actual

Exercise 11: Ajuste fino avanzado Exercise 12: Entrenamiento de extremo a extremo Exercise 13: Entrenamiento, ajuste y retroalimentación Exercise 14: Cómo construir un LLM

En este capítulo, profundizamos en las consideraciones clave a la hora de entrenar los LLM, como la disponibilidad de grandes conjuntos de datos, la calidad de los datos, el etiquetado exacto y las implicaciones de los datos sesgados. También examinarás diversos riesgos de los LLM, como la privacidad de los datos, las cuestiones éticas y el impacto medioambiental. Por último, el capítulo concluye debatiendo las áreas de investigación emergentes y el panorama en evolución de los LLM.

Exercise 1: Preocupaciones y consideraciones sobre datos Exercise 2: ¿Tu modelo es justo?Exercise 3: Imparcial y relevante Exercise 4: Atención al cliente de un banco Exercise 5: Preocupaciones éticas y medioambientales Exercise 6: Uso responsable Exercise 7: Ética y medioambiente Exercise 8: ¿Hacia dónde se dirigen los LLM?Exercise 9: Creatividad frente a eficiencia Exercise 10: Analizando obras literarias Exercise 11: Resumen