1. Lernen
    2. /
  2. Kurse
    3. /
  3. Introducción a LLMs en Python
  • 1

    El panorama de los grandes modelos lingüísticos (LLMs)

    Kostenlos

    Los Grandes Modelos Lingüísticos (LLMs) representan la cúspide actual de la tecnología de la IA, impulsando notables avances en el Procesamiento y la Comprensión del Lenguaje Natural. Este capítulo te servirá de puerta de entrada a la comprensión de LLMs: qué son, sus extraordinarias capacidades y la amplia gama de tareas lingüísticas en las que destacan. Adquirirás experiencia práctica en la carga y aprovechamiento de varios LLMs tanto para tareas de comprensión como de generación del lenguaje. Por el camino, conocerás el catalizador del éxito en el corazón de la mayoría de LLMs: la arquitectura del transformador. ¿Listo para iniciar este viaje al mundo de LLMs?

  • 2

    Construir la arquitectura de un transformador

    En este capítulo, descubrirás los secretos y entresijos prácticos de los transformadores, la arquitectura de aprendizaje profundo más popular utilizada para crear los Modelos del Lenguaje de más éxito en la actualidad. Paso a paso, y ayudado por la biblioteca PyTorch, aprenderás a diseñar y configurar manualmente distintos tipos de arquitecturas de transformadores. Desarrollarás una sólida comprensión de sus elementos básicos, incluidos los mecanismos de autoatención, las capas de codificación y descodificación, y los cabezales de modelos especializados diseñados para tareas lingüísticas y casos de uso específicos.

  • 3

    Aprovechar el preentrenamiento LLMs

    Este capítulo desvela el potencial transformador de aprovechar los Grandes Modelos Lingüísticos preentrenados (LLMs). A lo largo del capítulo, descubrirás consejos y trucos eficaces para dominar casos de uso lingüístico intrincados y obtendrás conocimientos prácticos para aprovechar LLMs y conjuntos de datos preentrenados de Hugging Face. Por el camino, aprenderás los entresijos de varios problemas lingüísticos comunes, desde la clasificación de sentimientos a la síntesis o la respuesta a preguntas, y explorarás cómo se entrenan de forma adaptativa los LLMpara resolverlos.

  • 4

    Evaluar y aprovechar LLMs en el mundo real

    ¡Nuestro apasionante viaje de aprendizaje de LLMse acerca a su fin! Profundizarás en diferentes métricas y métodos para evaluar el rendimiento de tu modelo, ya sea uno preentrenado, una versión ajustada o algo que hayas construido desde cero. Conocerás los aspectos cruciales y los retos de la aplicación de los Modelos Lingüísticos en escenarios del mundo real, incluida la optimización de un modelo con la opinión de los humanos (RLHF), el tratamiento de los resultados lingüísticos sesgados y mucho más.

Initializing

Ubung

Configurar un bucle RLHF

El algoritmo de Optimización de la Política Próxima (PPO) se utiliza popularmente en los bucles de Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) para afinar un LLM. El algoritmo facilita la actualización iterativa de los parámetros del modelo basándose en un modelo de recompensa derivado de la retroalimentación humana, garantizando que el comportamiento del modelo se adapte en función de las preferencias humanas.

En este ejemplo, crearás un bucle sencillo RLHF basado en PPO y un modelo de recompensa "ficticio".

Anweisungen 1/2

undefined XP
    1
    2
  • Instanciar una referencia LLM que se utilizará en el proceso de optimización.
  • Inicializa un objeto de configuración de entrenador asignándolo a ppo_config.