Entrenamiento, ajuste y retroalimentación

Estás trabajando en un proyecto para desarrollar un modelo utilizando la técnica de Aprendizaje por Refuerzo a través de la Retroalimentación Humana (RLHF) para optimizar su rendimiento en un entorno de atención al cliente.

¿Cuál de estas opciones describe mejor el proceso RLHF?

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

Ver curso

Ejercicio interactivo práctico

Convierte la teoría en acción con uno de nuestros ejercicios interactivos

Empieza a hacer ejercicio

Este ejercicio forma parte del curso

Conceptos de grandes modelos lingüísticos (LLM)

PrincipianteNivel de habilidad

4.8+

1382 reviews

Comienza el curso gratis

El panorama de la IA evoluciona rápidamente, y los modelos de lenguaje de gran tamaño (LLM) se encuentran a la vanguardia de esta evolución. En este capítulo se examina cómo están avanzando los LLM en el desarrollo de una inteligencia artificial similar a la humana, y cómo están transformando los diversos sectores con sus numerosas aplicaciones. Descubrirás los retos y la complejidad que se asocian a los modelos de lenguaje.

Exercise 1: El auge de los LLM en el panorama de la IA Exercise 2: Definición de un LLM Exercise 3: Los LLM en el panorama de la IA Exercise 4: Aplicaciones de la IA y aplicaciones de los LLM Exercise 5: Aplicaciones del mundo real Exercise 6: Aplicaciones para empresas Exercise 7: Aplicaciones multimodales Exercise 8: Automatizar las tareas basadas en datos Exercise 9: Retos del modelado lingüístico Exercise 10: ¿Qué puede hacer un modelo lingüístico?Exercise 11: Aprendizaje monotarea frente a multitarea

Este capítulo destaca la innovación de los LLM y sus capacidades emergentes, al mismo tiempo que describe diversas técnicas de NLP para la preparación de datos. Aprenderás cuáles son los retos que plantea el entrenamiento de los LLM y cómo superarlos de forma eficaz con el ajuste fino. También comprenderás cómo las técnicas de aprendizaje N-shot permiten una adaptación eficiente de los modelos preentrenados cuando se enfrentan a datos etiquetados limitados.

Exercise 1: Novedad de los LLM Exercise 2: Resolución de problemas con LLM Exercise 3: Modelos tradicionales frente a LLMs Exercise 4: Visión general del NLP Exercise 5: Preparación de datos Exercise 6: Preprocesamiento y representación de textos Exercise 7: Encajes léxicos mejor que bolsa de palabras Exercise 8: Ajuste fino Exercise 9: Retos en la creación de LLM Exercise 10: Adaptar un modelo preentrenado Exercise 11: ¿Preentrenado o ajustado?Exercise 12: Técnicas de aprendizaje Exercise 13: Ajustar un modelo Exercise 14: Aprendizaje N-shot

En este capítulo, conocerás los componentes fundamentales del entrenamiento de un LLM, como las técnicas de preentrenamiento. También adquirirás una comprensión intuitiva de conceptos complejos como la arquitectura de los transformadores, incluido el mecanismo de atención. El capítulo muestra una técnica avanzada de ajuste fino y resume el proceso de entrenamiento que se necesita para completar un LLM.

Exercise 1: Componentes para entrenar LLM Exercise 2: Lenguaje enmascarado Exercise 3: Prever la siguiente palabra Exercise 4: Creación desde cero Exercise 5: Presentación del transformador Exercise 6: Relaciones entre palabras distantes Exercise 7: Componentes del transformador Exercise 8: Mecanismos de atención Exercise 9: Detalles de Multi-Head Attention Exercise 10: Autoatención frente a Multi-Head Attention Exercise 11: Ajuste fino avanzado Exercise 12: Entrenamiento integral Exercise 13: Entrenamiento, ajuste y retroalimentación

Ejercicio actual

Exercise 14: Construir una LLM

En este capítulo, profundizamos en las consideraciones clave a la hora de entrenar los LLM, como la disponibilidad de grandes conjuntos de datos, la calidad de los datos, el etiquetado exacto y las implicaciones de los datos sesgados. También examinarás varios riesgos de los LLM, como la privacidad de los datos, los problemas éticos y el impacto medioambiental. Por último, el capítulo concluye debatiendo las áreas de investigación emergentes y el panorama en evolución de los LLM.

Exercise 1: Preocupaciones y consideraciones sobre datos Exercise 2: ¿Tu modelo es justo?Exercise 3: Imparcial y relevante Exercise 4: Atención al cliente de un banco Exercise 5: Preocupaciones éticas y medioambientales Exercise 6: Uso responsable Exercise 7: Ética y medioambiente Exercise 8: ¿Hacia dónde se dirigen los LLM?Exercise 9: Creatividad frente a eficiencia Exercise 10: Análisis de obras literarias Exercise 11: Resumen