Dit hoofdstuk introduceert LLMOps en de ideefase van het ontwikkelen van LLM-applicaties. Het behandelt de basis van LLMOps, licht de fasen in de levenscyclus van LLM’s toe en bespreekt kernactiviteiten in de ideefase, zoals het verzamelen van data en de keuze tussen open-source en proprietaire LLM’s.

Overzicht van LLMOps

LLMOps versus MLOps

Relevantie van LLMOps

Levenscyclus van LLM's

Het doel van lifecycle-fasen

De levenscyclus van de applicatie

Ideefase

Data sourcen

Proprietary versus open-source modellen

Het juiste basismodel kiezen

Introductie tot LLMOps & ideefase

Dit hoofdstuk richt zich op de ontwikkelfase van het bouwen van LLM-applicaties. Het behandelt prompt engineering, agents en chains, RAG versus fine-tuning technieken en testmethoden.

Prompt engineering

Het belang van prompt engineering

Aan de slag met prompt engineering

Prompts bijhouden

Chains en agents

Het verschil tussen agents en chains

De juiste architectuur kiezen

RAG versus fine-tunen

De RAG-workflow

Vergelijk RAG met fine-tuning

Testen

De juiste metriek kiezen

Het belang van testen

Ontwikkelfase

Dit hoofdstuk richt zich op de operationele fase van het uitrollen en beheren van LLM-applicaties. We behandelen uitrolstrategieën zoals CI/CD, opschalings­technieken, monitoringpraktijken, kostenbeheersings­strategieën en overwegingen rond governance en beveiliging. Als je deze concepten beheerst, kun je LLM-applicaties efficiënt beheren in operationele omgevingen.

Deployment

De noodzaak van CI/CD

Opties

Horizontaal schalen

Verticaal schalen

De juiste schaalstrategie

Monitoring en observeerbaarheid

Inputmonitoring

Functionele monitoring

Outputmonitoring

Je applicatie monitoren

Alertafhandeling

Kostenbeheer

ChatGPT

Promptcompressie

Een kostenprognose maken

Governance en beveiliging

Prompt injection

Prompt-injectie

Data poisoning

Denial-of-service

Mitigatiestrategieën

Dataintegriteit en poisoning

Gefeliciteerd

Operationele fase

Ga aan de slag met Large Language Model Operations (LLMOps). Deze cursus, voor zowel enthousiastelingen als professionals, begeleidt je door de basis, van idee tot operationele uitrol.

Door in de levenscyclus van LLM-applicaties te duiken, ontdek je de cruciale rol ervan binnen organisaties. Je krijgt inzicht in de uitdagingen en aandachtspunten in elke fase, hoe je ontwikkeling kunt aanscherpen en een soepele uitrol waarborgt, terwijl je rekening houdt met data governance en beveiliging. Aan het einde van de cursus heb je een stevige basis in LLMOps-concepten en weet je hoe je die toepast op je eigen applicaties.

<h2> Een inleiding tot LLMOps </h2>

Ga op reis naar Large Language Model Operations (LLMOps). Deze cursus, die zowel voor liefhebbers als professionals is gemaakt, laat je de basis zien, van het bedenken van ideeën tot het daadwerkelijk inzetten ervan.

<h2> Ontdek de essentie </h2>

Begin je ontdekkingsreis door de basisprincipes van LLMOps te ontrafelen. Begrijp de belangrijke rol ervan binnen organisaties en leer de basisconcepten van LLM's en LLMOps. Deze cursus gaat niet echt over het bouwen van je eigen basis-LLM. Het is juist bedoeld om de mogelijkheden van een basis model te gebruiken voor toepassingen binnen je organisatie.

<h2> Navigeer door de levenscyclus </h2>

Als je je verdiept in de levenscyclus van LLM-applicaties, zie je hoe belangrijk die zijn voor organisaties. Je krijgt inzicht in de uitdagingen en overwegingen in elke fase en hoe je de ontwikkeling kunt verfijnen en een soepele implementatie kunt garanderen, terwijl je tegelijkertijd databeheer en -beveiliging omarmt. 

Na het afronden van deze cursus heb je niet alleen een goed begrip van LLMOps, maar kun je deze concepten ook vol vertrouwen toepassen in je werk. Of je nu net begint of je kennis wilt verdiepen, deze cursus helpt je je vaardigheden te verbeteren en begeleidt je op weg naar het beheersen van LLMOps.

Large Language Models (LLMs) Concepts

Leer over LLMOps van idee tot implementatie, ontdek uitdagingen en pas deze toe op je applicaties.

LLMOps-concepten

Leer alles over LLMOps, van idee tot implementatie, krijg inzicht in de levenscyclus en uitdagingen, en ontdek hoe je deze concepten kunt toepassen op je apps.

Associate AI Engineer voor ontwikkelaars

Grote taalmodellen ontwikkelen

Tussen 17.00 en 18.00 uur is er een vertienvoudiging van het verkeer naar je model waarmee je rekening moet houden

Je verwacht dat de gebruikersgroep van het model dit jaar maandelijks verdubbelt, mogelijk nog langer, dus de applicatie moet deze groei aankunnen

Om je applicatie meer realtime te maken, moet je de responstijd voor elke individuele aanvraag verbeteren

Je merkt dat de applicatie bij sommige specifieke aanvragen uit het geheugen loopt, zelfs bij weinig verkeer

De juiste schaalstrategie

LLMOps-concepten

Interactieve oefening met praktijkervaring