This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Conception de prompts

L’importance du prompt engineering

ChatGPT

Expérimenter le prompt engineering

Garder une trace des prompts

Chaînes et agents

Options

Agent

Chaîne

La différence entre agents et chaînes

Choisir la bonne architecture

RAG versus ajustement fin

Chaîne LLM

Le workflow RAG

Fine-tuning

Comparer le RAG et le fine-tuning

Tests

Métrique classique de Machine Learning

Métriques de comparaison de texte

Choisir la bonne métrique

L’importance des tests

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Partez à la découverte des opérations sur les grands modèles de langage (LLMOps). Ce cours, conçu pour les passionnés comme pour les professionnels, vous guide des bases jusqu’au déploiement opérationnel, de l’idéation à la mise en production.

En explorant le cycle de vie des applications LLM, vous comprendrez son rôle central dans les organisations. Vous découvrirez les défis et points d’attention à chaque étape, comment améliorer le développement et assurer un déploiement fluide tout en intégrant la gouvernance des données et la sécurité. À la fin du cours, vous aurez une solide compréhension des concepts LLMOps et saurez comment les appliquer à vos applications.

<h2> Présentation de ChatGPT </h2>

Nous vous invitons à explorer le domaine des opérations liées aux grands modèles linguistiques (LLMOps). Ce cours, conçu pour les passionnés et les professionnels, vous guide à travers les bases, de la conception à la mise en œuvre opérationnelle.

<h2> Découvrez les éléments essentiels </h2>

Commencez votre exploration en découvrant les principes fondamentaux des LLMOps. Comprenez son rôle central dans les environnements organisationnels et appréhendez les concepts fondamentaux des LLM et des LLMOps. L'objectif principal de ce cours n'est pas de vous permettre de construire votre propre LLM fondamental. Il vise plutôt à exploiter les capacités d'un modèle fondamental pour une application au sein de votre organisation.

<h2> Naviguer dans le cycle de vie </h2>

En examinant le cycle de vie des applications LLM, on constate leur rôle central au sein des organisations. Vous acquerrez des connaissances approfondies sur les défis et les considérations à chaque étape, ainsi que sur la manière d'affiner le développement et d'assurer un déploiement fluide tout en adoptant la gouvernance et la sécurité des données. 

À l'issue de cette formation, vous aurez acquis une solide compréhension des LLMOps et serez en mesure d'appliquer ces concepts avec assurance dans votre travail. Que vous soyez débutant ou désireux d'approfondir vos connaissances, ce cours vous permettra de renforcer vos compétences et vous guidera vers la maîtrise des LLMOps.

Large Language Models (LLMs) Concepts

Découvrez LLMOps, de l'idée au déploiement, et appliquez ces concepts à vos applications.

Concepts LLMOps

Associate AI Engineer pour développeurs

Développer des LLM

Une application LLM qui prédit le nombre de calories de plats

Une application LLM qui classe un message de forum comme toxique ou non

Une application LLM qui répond aux questions fréquentes d’un site web

Une application LLM qui résume des historiques de conversation

Choisir la bonne métrique

Exercice interactif pratique