Autoatención frente a Multi-Head Attention

Eres analista de datos en un equipo de desarrollo de IA. Tu proyecto actual consiste en comprender y aplicar los conceptos de Self-Attention y Multi-head Attention en un modelo lingüístico. Considera las siguientes frases de un conjunto de datos de conversaciones.

A: "The boy went to the store to buy some groceries." ("El chico fue a la tienda a comprar comestibles".)

B: "Oh, he was really excited about getting his favorite cereal." ("Él estaba muy ilusionado por conseguir sus cereales favoritos".)

C: "I noticed that he gestured a lot while talking about it." ("Me di cuenta de que gesticulaba mucho mientras hablaba de ello".)

Determina si estas frases se analizarían mejor centrándose en las relaciones dentro de los datos de entrada (Self-Attention) o atendiendo a múltiples aspectos de los datos de entrada simultáneamente (Multi-head Attention).

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empieza el ejercicio

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

PrincipianteNivel de habilidad

4.8+

Comienza el curso gratis

El panorama de la IA evoluciona rápidamente, y los modelos de lenguaje de gran tamaño (LLM) se encuentran a la vanguardia de esta evolución. En este capítulo se examina cómo están avanzando los LLM en el desarrollo de una inteligencia artificial similar a la humana, y cómo están transformando los diversos sectores con sus numerosas aplicaciones. Descubrirás los retos y la complejidad que se asocian a los modelos de lenguaje.

Exercise 1: El auge de los LLM en el panorama de la IA Exercise 2: Definición de un LLM Exercise 3: Los LLM en el panorama de la IA Exercise 4: Aplicaciones de la IA y aplicaciones de los LLM Exercise 5: Aplicaciones del mundo real Exercise 6: Aplicaciones para empresas Exercise 7: Aplicaciones multimodales Exercise 8: Automatizar las tareas basadas en datos Exercise 9: Retos del modelado lingüístico Exercise 10: ¿Qué puede hacer un modelo lingüístico?Exercise 11: Aprendizaje monotarea frente a multitarea

Este capítulo destaca la innovación de los LLM y sus capacidades emergentes, al mismo tiempo que describe diversas técnicas de NLP para la preparación de datos. Aprenderás cuáles son los retos que plantea el entrenamiento de los LLM y cómo superarlos de forma eficaz con el ajuste fino. También comprenderás cómo las técnicas de aprendizaje N-shot permiten una adaptación eficiente de los modelos preentrenados cuando se enfrentan a datos etiquetados limitados.

Exercise 1: Novedad de los LLM Exercise 2: Resolución de problemas con LLM Exercise 3: Modelos tradicionales frente a LLMs Exercise 4: Visión general del NLP Exercise 5: Preparación de datos Exercise 6: Preprocesamiento y representación de textos Exercise 7: Encajes léxicos mejor que bolsa de palabras Exercise 8: Ajuste fino Exercise 9: Retos en la creación de LLM Exercise 10: Adaptar un modelo preentrenado Exercise 11: ¿Preentrenado o ajustado?Exercise 12: Técnicas de aprendizaje Exercise 13: Ajustar un modelo Exercise 14: Aprendizaje N-shot

En este capítulo, conocerás los componentes fundamentales del entrenamiento de un LLM, como las técnicas de preentrenamiento. También adquirirás una comprensión intuitiva de conceptos complejos como la arquitectura de los transformadores, incluido el mecanismo de atención. El capítulo muestra una técnica avanzada de ajuste fino y resume el proceso de entrenamiento que se necesita para completar un LLM.

Exercise 1: Componentes para entrenar LLM Exercise 2: Lenguaje enmascarado Exercise 3: Prever la siguiente palabra Exercise 4: Creación desde cero Exercise 5: Presentación del transformador Exercise 6: Relaciones entre palabras distantes Exercise 7: Componentes del transformador Exercise 8: Mecanismos de atención Exercise 9: Detalles de Multi-Head Attention Exercise 10: Autoatención frente a Multi-Head Attention

Ejercicio actual

Exercise 11: Ajuste fino avanzado Exercise 12: Entrenamiento integral Exercise 13: Entrenamiento, ajuste y retroalimentación Exercise 14: Construir una LLM

En este capítulo, profundizamos en las consideraciones clave a la hora de entrenar los LLM, como la disponibilidad de grandes conjuntos de datos, la calidad de los datos, el etiquetado exacto y las implicaciones de los datos sesgados. También examinarás varios riesgos de los LLM, como la privacidad de los datos, los problemas éticos y el impacto medioambiental. Por último, el capítulo concluye debatiendo las áreas de investigación emergentes y el panorama en evolución de los LLM.

Exercise 1: Preocupaciones y consideraciones sobre datos Exercise 2: ¿Tu modelo es justo?Exercise 3: Imparcial y relevante Exercise 4: Atención al cliente de un banco Exercise 5: Preocupaciones éticas y medioambientales Exercise 6: Uso responsable Exercise 7: Ética y medioambiente Exercise 8: ¿Hacia dónde se dirigen los LLM?Exercise 9: Creatividad frente a eficiencia Exercise 10: Análisis de obras literarias Exercise 11: Resumen