Ce chapitre propose une introduction à LLMOps et à la phase d'idéation du développement d'applications LLM. Il présente les bases de LLMOps, met en avant les étapes du cycle de vie des LLM et couvre les activités clés de la phase d'idéation, comme la recherche de données et le choix entre des LLM open source et propriétaires.

Aperçu de LLMOps

LLMOps versus MLOps

Pertinence du LLMOps

Cycle de vie des LLM

L'objectif des phases du cycle de vie

Le cycle de vie de l'application

Phase d'idéation

Collecte des données

Modèles propriétaires versus open source

Choisir le bon modèle de base

Introduction à LLMOps et phase d'idéation

Ce chapitre se concentre sur la phase de développement des applications LLM. Il aborde le prompt engineering, les agents et les chaînes, les techniques RAG versus réglage fin, ainsi que les méthodes de test. 

Ingénierie des prompts

L'importance de l'ingénierie des prompts

Expérimenter l'ingénierie des prompts

Suivre vos prompts

Chaînes et agents

La différence entre agents et chaînes

Choisir la bonne architecture

RAG vs réglage fin

Le workflow RAG

Comparer le RAG et le réglage fin

Tests

Choisir la bonne métrique

L'importance des tests

Phase de développement

Ce chapitre se concentre sur la phase opérationnelle du déploiement et de la gestion des applications LLM. Nous aborderons des stratégies de déploiement comme le CI/CD, des techniques de mise à l'échelle, des pratiques de monitoring, des stratégies de gestion des coûts, ainsi que les aspects de gouvernance et de sécurité. La maîtrise de ces concepts vous aidera à gérer efficacement des applications LLM en environnement de production.

Déploiement

Le besoin de CI/CD

Options

Mise à l'échelle horizontale

Mise à l'échelle verticale

Choisir la bonne stratégie de scaling

Surveillance et observabilité

Suivi des entrées

Suivi fonctionnel

Suivi des sorties

Surveiller votre application

Gestion des alertes

Gestion des coûts

ChatGPT

Compression de prompt

Établir une prévision de coûts

Gouvernance et sécurité

Injection de prompt

Empoisonnement des données

Déni de service

Stratégies d'atténuation

Intégrité des données et empoisonnement

Félicitations

Phase opérationnelle

Partez à la découverte des opérations autour des grands modèles de langage (LLMOps). Ce cours, conçu pour les passionnés comme pour les professionnels, vous guide pas à pas des idées initiales jusqu'au déploiement en production.

L'exploration du cycle de vie des applications LLM mettra en lumière leur rôle clé au sein des organisations. Vous comprendrez les défis et points d'attention à chaque étape, comment affiner le développement et assurer un déploiement fluide tout en intégrant la gouvernance et la sécurité des données. À la fin du cours, vous aurez une compréhension solide des concepts de LLMOps et saurez comment les appliquer à vos applications.

<h2> Présentation de ChatGPT </h2>

Nous vous invitons à explorer le domaine des opérations liées aux grands modèles linguistiques (LLMOps). Ce cours, conçu pour les passionnés et les professionnels, vous guide à travers les bases, de la conception à la mise en œuvre opérationnelle.

<h2> Découvrez les éléments essentiels </h2>

Commencez votre exploration en découvrant les principes fondamentaux des LLMOps. Comprenez son rôle central dans les environnements organisationnels et appréhendez les concepts fondamentaux des LLM et des LLMOps. L'objectif principal de ce cours n'est pas de vous permettre de construire votre propre LLM fondamental. Il vise plutôt à exploiter les capacités d'un modèle fondamental pour une application au sein de votre organisation.

<h2> Naviguer dans le cycle de vie </h2>

En examinant le cycle de vie des applications LLM, on constate leur rôle central au sein des organisations. Vous acquerrez des connaissances approfondies sur les défis et les considérations à chaque étape, ainsi que sur la manière d'affiner le développement et d'assurer un déploiement fluide tout en adoptant la gouvernance et la sécurité des données. 

À l'issue de cette formation, vous aurez acquis une solide compréhension des LLMOps et serez en mesure d'appliquer ces concepts avec assurance dans votre travail. Que vous soyez débutant ou désireux d'approfondir vos connaissances, ce cours vous permettra de renforcer vos compétences et vous guidera vers la maîtrise des LLMOps.

Large Language Models (LLMs) Concepts

Découvrez LLMOps, de l'idée au déploiement, et appliquez ces concepts à vos applications.

Concepts de LLMOps

Maîtrisez LLMOps : de l’idéation au déploiement, comprenez le cycle de vie, les défis et appliquez-les à vos applications.

Associate AI Engineer pour développeurs

Développer des LLM

Entre 17 h et 18 h, le trafic vers votre modèle est multiplié par dix et vous devez l'absorber

Vous anticipez un doublement mensuel de la base d'utilisateurs du modèle cette année, voire plus. Vous devez donc garantir que l'application pourra supporter cette croissance.

Pour renforcer le caractère temps réel de votre application, vous devez accélérer le temps de réponse de chaque requête individuelle

Vous constatez que, pour certaines requêtes spécifiques, l'application manque de mémoire, même en période de faible trafic

Choisir la bonne stratégie de scaling

Exercice interactif pratique