Ce chapitre présente LLMOps et la phase d’idéation du développement d’applications LLM. Il explique les fondamentaux de LLMOps, met en avant les étapes du cycle de vie des LLM et couvre les activités clés de la phase d’idéation, comme la collecte de données et le choix entre des LLM open source ou propriétaires.

Vue d’ensemble de LLMOps

LLMOps versus MLOps

Pertinence de LLMOps

Cycle de vie des LLM

L’objectif des phases du cycle de vie

Le cycle de vie de l’application

Phase d’idéation

Sourcing des données

Modèles propriétaires versus open source

Choisir le bon modèle de base

Introduction à LLMOps et phase d’idéation

Ce chapitre se concentre sur la phase de développement d’une application LLM. Il aborde le prompt engineering, les agents et les chaînes, les techniques RAG versus fine-tuning, ainsi que les méthodes de test. 

Conception de prompts

L’importance du prompt engineering

Expérimenter le prompt engineering

Garder une trace des prompts

Chaînes et agents

La différence entre agents et chaînes

Choisir la bonne architecture

RAG versus ajustement fin

Le workflow RAG

Comparer le RAG et le fine-tuning

Tests

Choisir la bonne métrique

L’importance des tests

Phase de développement

Ce chapitre porte sur la phase opérationnelle de déploiement et de gestion des applications LLM. Nous couvrirons les stratégies de déploiement comme le CI/CD, les techniques de mise à l’échelle, les pratiques de monitoring, les stratégies de gestion des coûts, ainsi que les aspects de gouvernance et de sécurité. Maîtriser ces notions vous aidera à gérer efficacement les applications LLM en environnement de production.

Déploiement

Le besoin de CI/CD

Options

Mise à l’échelle horizontale

Mise à l’échelle verticale

La bonne stratégie de mise à l’échelle

Supervision et observabilité

Surveillance des entrées

Surveillance fonctionnelle

Surveillance des sorties

Surveiller votre application

Gestion des alertes

Gestion des coûts

ChatGPT

Compression de prompt

Établir une prévision de coûts

Gouvernance et sécurité

Injection de prompt

Empoisonnement des données

Déni de service

Stratégies d’atténuation

Intégrité des données et empoisonnement

Félicitations

Phase opérationnelle

Partez à la découverte des opérations sur les grands modèles de langage (LLMOps). Ce cours, conçu pour les passionnés comme pour les professionnels, vous guide des bases jusqu’au déploiement opérationnel, de l’idéation à la mise en production.

En explorant le cycle de vie des applications LLM, vous comprendrez son rôle central dans les organisations. Vous découvrirez les défis et points d’attention à chaque étape, comment améliorer le développement et assurer un déploiement fluide tout en intégrant la gouvernance des données et la sécurité. À la fin du cours, vous aurez une solide compréhension des concepts LLMOps et saurez comment les appliquer à vos applications.

<h2> Présentation de ChatGPT </h2>

Nous vous invitons à explorer le domaine des opérations liées aux grands modèles linguistiques (LLMOps). Ce cours, conçu pour les passionnés et les professionnels, vous guide à travers les bases, de la conception à la mise en œuvre opérationnelle.

<h2> Découvrez les éléments essentiels </h2>

Commencez votre exploration en découvrant les principes fondamentaux des LLMOps. Comprenez son rôle central dans les environnements organisationnels et appréhendez les concepts fondamentaux des LLM et des LLMOps. L'objectif principal de ce cours n'est pas de vous permettre de construire votre propre LLM fondamental. Il vise plutôt à exploiter les capacités d'un modèle fondamental pour une application au sein de votre organisation.

<h2> Naviguer dans le cycle de vie </h2>

En examinant le cycle de vie des applications LLM, on constate leur rôle central au sein des organisations. Vous acquerrez des connaissances approfondies sur les défis et les considérations à chaque étape, ainsi que sur la manière d'affiner le développement et d'assurer un déploiement fluide tout en adoptant la gouvernance et la sécurité des données. 

À l'issue de cette formation, vous aurez acquis une solide compréhension des LLMOps et serez en mesure d'appliquer ces concepts avec assurance dans votre travail. Que vous soyez débutant ou désireux d'approfondir vos connaissances, ce cours vous permettra de renforcer vos compétences et vous guidera vers la maîtrise des LLMOps.

Large Language Models (LLMs) Concepts

Découvrez LLMOps, de l'idée au déploiement, et appliquez ces concepts à vos applications.

Concepts LLMOps

Associate AI Engineer pour développeurs

Développer des LLM

Entre 17 h et 18 h, le trafic vers votre modèle est multiplié par dix et doit être absorbé

Vous anticipez un doublement mensuel de la base d’utilisateurs du modèle cette année, voire au-delà, et devez garantir que l’application supporte cette croissance

Pour renforcer le caractère temps réel de votre application, vous devez améliorer le temps de réponse de chaque requête individuelle

Vous constatez que, pour certaines requêtes spécifiques, l’application manque de mémoire, même en période de faible trafic

La bonne stratégie de mise à l’échelle

Exercice interactif pratique