Ce chapitre présente LLMOps et la phase d'idéation du développement d'applications LLM. Il explique les notions de base de LLMOps, met en lumière les étapes du cycle de vie des LLM et couvre les activités clés de la phase d'idéation, comme l'approvisionnement en données et le choix entre des LLM ouverts et propriétaires.

Aperçu de LLMOps

LLMOps versus MLOps

Pertinence de LLMOps

Cycle de vie des LLM

L'objectif des phases du cycle de vie

Le cycle de vie de l'application

Phase d'idéation

Approvisionnement en données

Modèles propriétaires ou libres (open source)

Choisir le bon modèle de base

Introduction à LLMOps et à la phase d'idéation

Ce chapitre porte sur la phase de développement d'une application LLM. Il traite de l'ingénierie des invites (prompt engineering), des agents et des chaînes, des techniques RAG comparées au réglage fin (fine-tuning), ainsi que des méthodes de test.

Conception d'invites

L'importance de l'ingénierie des invites

Expérimenter avec l'ingénierie d'invite

Faire le suivi des invites

Chaînes et agents

La différence entre les agents et les chaînes

Choisir la bonne architecture

RAG ou réglage fin (fine-tuning)

Le flux de travail RAG

Comparer la RAG et l'ajustement fin

Tests

Choisir la bonne mesure

L'importance des tests

Phase de développement

Ce chapitre porte sur la phase opérationnelle de déploiement et de gestion des applications LLM. Nous aborderons des stratégies de déploiement comme l'intégration et la livraison continues (CI/CD), des techniques de mise à l'échelle, des pratiques de supervision, des stratégies de gestion des coûts, ainsi que des considérations de gouvernance et de sécurité. La maîtrise de ces concepts vous aidera à gérer efficacement des applications LLM en environnement opérationnel.

Déploiement

Le besoin de CI/CD

Options

Mise à l'échelle horizontale

Mise à l'échelle verticale

La bonne stratégie de mise à l'échelle

Surveillance et observabilité

Suivi des entrées

Suivi fonctionnel

Suivi des sorties

Surveiller votre application

Traitement des alertes

Gestion des coûts

ChatGPT

Compression d'invite

Établir un pronostic de coûts

Gouvernance et sécurité

Injection d'invite

Injection de requêtes

Empoisonnement des données

Déni de service

Stratégies d'atténuation

Intégrité des données et empoisonnement

Félicitations

Phase opérationnelle

Embarquez dans l'univers des opérations autour des grands modèles de langue (LLMOps). Ce cours, conçu autant pour les passionné·e·s que pour les professionnel·le·s, vous guide à travers les bases, de l'idéation jusqu'au déploiement en production.

En explorant le cycle de vie des applications LLM, vous verrez leur rôle clé au sein des organisations. Vous comprendrez les défis et les points d'attention à chaque étape, comment améliorer le développement et assurer un déploiement fluide tout en respectant la gouvernance des données et la sécurité. À la fin du cours, vous aurez une compréhension solide des concepts de LLMOps et saurez comment les appliquer à vos applications.

<h2> Une introduction aux LLMOps </h2>

Embarquez dans un parcours vers les opérations de grands modèles de langage (LLMOps). Ce cours, conçu autant pour les passionnés que pour les professionnels, vous guide à travers les notions de base, de l’idéation au déploiement opérationnel.

<h2> Débloquez les essentiels </h2>

Commencez votre exploration en démystifiant les fondements de LLMOps. Comprenez son rôle essentiel dans les environnements organisationnels et maîtrisez les concepts fondamentaux des LLM et du LLMOps. L’objectif principal de ce cours n’est pas de construire votre propre LLM fondamental. Au lieu de cela, il est conçu pour tirer parti des capacités d’un modèle fondamental afin de l’appliquer au sein de votre organisation.

<h2> Naviguez le cycle de vie </h2>

Explorer le cycle de vie des applications LLM révélera son rôle essentiel au sein des organisations. Vous obtiendrez un aperçu des défis et des considérations à chaque étape, ainsi que de la façon d’affiner le développement et d’assurer un déploiement fluide tout en intégrant la gouvernance des données et la sécurité. 

Après avoir terminé ce cours, vous aurez non seulement une solide compréhension de LLMOps, mais vous serez aussi en mesure d’appliquer ces concepts avec assurance dans votre travail. Que vous débutiez tout juste ou que vous souhaitiez approfondir vos connaissances, ce cours vous aidera à développer vos compétences et vous guidera vers la maîtrise du LLMOps.

Large Language Models (LLMs) Concepts

Découvrez LLMOps, de l'idée au déploiement, et appliquez ces concepts à vos applications.

Concepts de LLMOps

Découvrez LLMOps, de l’idéation au déploiement, comprenez son cycle de vie et ses défis, et apprenez à appliquer ces concepts à vos applications.

Ingénieur IA associé pour développeurs

Développement de grands modèles de langage

Entre 17 h et 18 h, l'affluence vers votre modèle est multipliée par dix et vous devez en tenir compte

Vous prévoyez que la base d'utilisateurs du modèle doublera chaque mois cette année, voire au-delà, et vous devez vous assurer que l'application peut soutenir cette croissance

Pour renforcer le caractère temps réel de votre application, vous devez accélérer le temps de réponse de chaque requête individuelle

Vous remarquez que pour certaines requêtes précises, l'application manque de mémoire, même durant les périodes de faible trafic

La bonne stratégie de mise à l'échelle

Concepts de LLMOps

Exercice interactif pratique