¿Preentrenado o ajustado?

Eres un especialista en IA y estás discutiendo con tu equipo el proceso de entrenamiento de los modelos de lenguaje grandes (LLM).

Durante la reunión, tu jefe preguntó sobre las diferencias entre las etapas de preentrenamiento y ajuste fino de los LLM.

Ordena las siguientes afirmaciones en los cubos correctos para aclarar las diferencias a tu equipo.

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

Ver curso

Ejercicio interactivo práctico

Pon en práctica la teoría con uno de nuestros ejercicios interactivos

Empezar ejercicio

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

PrincipianteNivel de habilidad

4.8+

5325 reviews

Comienza el curso gratis

El panorama de la IA evoluciona rápidamente, y los modelos de lenguaje de gran tamaño (LLM) se encuentran a la vanguardia de esta evolución. En este capítulo se examina cómo están avanzando los LLM en el desarrollo de una inteligencia artificial similar a la humana, y cómo están transformando los diversos sectores con sus numerosas aplicaciones. Descubrirás los retos y la complejidad que se asocian a los modelos de lenguaje.

Exercise 1: El auge de los LLM en el panorama de la IA Exercise 2: Definición de un LLM Exercise 3: Los LLM en el panorama de la IA Exercise 4: IA frente a aplicaciones de LLM Exercise 5: Aplicaciones del mundo real Exercise 6: Aplicaciones para empresas Exercise 7: Aplicaciones multimodales Exercise 8: Automatizar las tareas basadas en datos Exercise 9: Retos del modelado lingüístico Exercise 10: ¿Qué puede hacer un modelo lingüístico?Exercise 11: Aprendizaje monotarea frente a multitarea

Este capítulo destaca la novedad de los LLM y sus capacidades emergentes, al mismo tiempo que describe diversas técnicas de NLP para la preparación de datos. Aprenderás cuáles son los retos que plantea el entrenamiento de los LLM y cómo superarlos de forma eficaz con el ajuste fino. También comprenderás cómo las técnicas de aprendizaje N-shot permiten una adaptación eficiente de los modelos preentrenados cuando se enfrentan a datos etiquetados limitados.

Exercise 1: Novedad de los LLM Exercise 2: Resolución de problemas con LLM Exercise 3: Modelos tradicionales frente a LLM Exercise 4: Visión general del NLP Exercise 5: Preparación de datos Exercise 6: Preprocesamiento y representación de textos Exercise 7: Encajes léxicos mejor que bolsa de palabras Exercise 8: Ajuste fino Exercise 9: Retos en la creación de LLM Exercise 10: Adaptar un modelo preentrenado Exercise 11: ¿Preentrenado o ajustado?

Ejercicio actual

Exercise 12: Técnicas de aprendizaje Exercise 13: Ajustar un modelo Exercise 14: Aprendizaje N-shot

En este capítulo, conocerás los componentes fundamentales del entrenamiento de un LLM, como las técnicas de preentrenamiento. También adquirirás una comprensión intuitiva de conceptos complejos como la arquitectura de los transformadores, incluido el mecanismo de atención. El capítulo muestra una técnica avanzada de ajuste fino y resume el proceso de entrenamiento que se necesita para completar un LLM.

Exercise 1: Componentes para entrenar LLM Exercise 2: Lenguaje enmascarado Exercise 3: Prever la siguiente palabra Exercise 4: Creación desde cero Exercise 5: Presentación del transformador Exercise 6: Relaciones entre palabras distantes Exercise 7: Componentes del transformador Exercise 8: Mecanismos de atención Exercise 9: Detalles de Multi-Head Attention Exercise 10: Autoatención frente a Multi-Head Attention Exercise 11: Ajuste fino avanzado Exercise 12: Entrenamiento integral Exercise 13: Entrenamiento, ajuste y retroalimentación Exercise 14: Creación de un LLM

En este capítulo, profundizamos en las consideraciones clave a la hora de entrenar los LLM, como la disponibilidad de grandes conjuntos de datos, la calidad de los datos, el etiquetado exacto y las implicaciones de los datos sesgados. También examinarás diversos riesgos de los LLM, como la privacidad de los datos, las cuestiones éticas y el impacto medioambiental. Por último, el capítulo concluye debatiendo las áreas de investigación emergentes y el panorama en evolución de los LLM.

Exercise 1: Preocupaciones y consideraciones sobre datos Exercise 2: ¿Tu modelo es justo?Exercise 3: Imparcial y relevante Exercise 4: Atención al cliente de un banco Exercise 5: Preocupaciones éticas y medioambientales Exercise 6: Uso responsable Exercise 7: Ética y medioambiente Exercise 8: ¿Hacia dónde se dirigen los LLM?Exercise 9: Creatividad frente a eficiencia Exercise 10: Análisis de obras literarias Exercise 11: Resumen