Det här kapitlet introducerar LLMOps och idéfasen i utvecklingen av LLM-applikationer. Du får lära dig grunderna i LLMOps, livscykelns olika faser och viktiga aktiviteter i idéfasen – som datainsamling och valet mellan öppen källkod och proprietära LLM:er.

Översikt över LLMOps

LLMOps kontra MLOps

LLMOps relevans

LLM:ers livscykel

Syftet med livscykelns faser

Applikationens livscykel

Idéfasen

Datainsamling

Proprietära modeller kontra modeller med öppen källkod

Att välja rätt basmodell

Introduktion till LLMOps och idéfasen

Det här kapitlet fokuserar på utvecklingsfasen vid skapandet av LLM-applikationer. Vi går igenom promptteknik, agenter och kedjor, RAG kontra finjustering samt testmetoder.

Prompt engineering

Vikten av prompt engineering

Testa prompt engineering

Håll koll på dina prompter

Kedjor och agenter

Skillnaden mellan agenter och kedjor

Att välja rätt arkitektur

RAG kontra finjustering

RAG-arbetsflödet

Jämför RAG med finjustering

Testning

Välj rätt mätvärde

Vikten av testning

Utvecklingsfasen

Det här kapitlet fokuserar på driftsfasen vid driftsättning och förvaltning av LLM-applikationer. Vi går igenom driftsättningsstrategier som CI/CD, skalningstekniker, övervakningsmetoder, kostnadshanteringsstrategier samt styrning och säkerhet. Genom att behärska dessa koncept kan du effektivt förvalta LLM-applikationer i produktionsmiljöer.

Driftsättning

Behovet av CI/CD

Alternativ

Horisontell skalning

Vertikal skalning

Rätt skalningsstrategi

Övervakning och observerbarhet

Indataövervakning

Funktionell övervakning

Utdataövervakning

Övervaka din applikation

Larmhantering

Kostnadshantering

ChatGPT

Promptkomprimering

Göra en kostnadsprognos

Styrning och säkerhet

Prompt injection

Prompt-injektion

Dataförgiftning

Denial of service

Motåtgärder

Dataintegritet och förgiftning

Grattis

Driftsfasen

Utforska världen av Large Language Model Operations (LLMOps). Den här kursen vänder sig till både nyfikna och yrkesverksamma och guidar dig genom grunderna – från idéstadiet till driftsättning i produktion.

Genom att gå igenom livscykeln för LLM-applikationer får du förståelse för dess centrala roll i organisationer. Du lär dig om utmaningar och överväganden i varje fas, hur du effektiviserar utvecklingen och säkerställer en smidig driftsättning – med hänsyn till datastyrning och säkerhet. När kursen är slut har du en gedigen förståelse för LLMOps-koncept och vet hur du tillämpar dem i dina egna applikationer.

<h2> En introduktion till LLMOps </h2>

Ge dig ut på en resa in i Large Language Model Operations (LLMOps). Den här kursen, utformad för både entusiaster och yrkesverksamma, guidar dig genom grunderna, från idé till driftsättning.

<h2> Lås upp grunderna </h2>

Börja din utforskning med att reda ut grunderna i LLMOps. Förstå dess avgörande roll i organisatoriska sammanhang och få grepp om kärnkoncepten inom LLM:er och LLMOps. Det primära fokuset i den här kursen ligger inte på att bygga din egen grundläggande LLM. Istället är den inriktad på att utnyttja kapaciteten hos en grundmodell för användning inom din organisation.

<h2> Navigera livscykeln </h2>

Att fördjupa sig i livscykeln för LLM-applikationer kommer att avslöja dess avgörande roll i organisationer. Du kommer att få insikter i utmaningarna och övervägandena i varje steg och hur du kan förfina utvecklingen och säkerställa en smidig driftsättning samtidigt som du tar hänsyn till datastyrning och säkerhet. 

Efter att ha slutfört den här kursen kommer du inte bara att få en gedigen förståelse för LLMOps, utan också kunna tillämpa dessa koncept i ditt arbete med självförtroende. Oavsett om du precis har börjat eller vill fördjupa din förståelse, kommer den här kursen att stärka dina färdigheter och guida dig mot att bemästra LLMOps.

Large Language Models (LLMs) Concepts

Lär dig om LLMOps från idé till implementering och hur du tillämpar dessa koncept i dina appar.

LLMOps-koncept

Lär dig om LLMOps från idé till driftsättning, få insikter i livscykeln och utmaningarna, och lär dig tillämpa dessa koncept i dina applikationer.

Associate AI Engineer för utvecklare

Utveckla stora språkmodeller

Mellan kl. 17 och 18 ökar trafiken till din modell tiodubbelt, vilket du behöver hantera

Du räknar med att modellens användarbas fördubblas varje månad under året, möjligen ännu mer, och applikationen måste klara den tillväxten

För att förbättra realtidsegenskaperna i din applikation måste du korta ned svarstiden för varje enskild förfrågan

Du märker att applikationen får slut på minne för vissa specifika förfrågningar, även under perioder med låg trafik

Rätt skalningsstrategi

LLMOps-koncept

Interaktiv övning med praktiskt arbete