Dit hoofdstuk introduceert LLMOps en de ideefase van het ontwikkelen van LLM-applicaties. Het behandelt de basis van LLMOps, licht de fasen in de levenscyclus van LLM’s toe en bespreekt kernactiviteiten in de ideefase, zoals het verzamelen van data en de keuze tussen open-source en proprietaire LLM’s.

Overzicht van LLMOps

LLMOps versus MLOps

Relevantie van LLMOps

Levenscyclus van LLM's

Het doel van lifecycle-fasen

De levenscyclus van de applicatie

Ideefase

Data sourcen

Proprietary versus open-source modellen

Het juiste basismodel kiezen

Introductie tot LLMOps & ideefase

Dit hoofdstuk richt zich op de ontwikkelfase van het bouwen van LLM-applicaties. Het behandelt prompt engineering, agents en chains, RAG versus fine-tuning technieken en testmethoden.

Prompt engineering

Het belang van prompt engineering

Aan de slag met prompt engineering

Prompts bijhouden

Chains en agents

Het verschil tussen agents en chains

De juiste architectuur kiezen

RAG versus fine-tunen

De RAG-workflow

Vergelijk RAG met fine-tuning

Testen

De juiste metriek kiezen

Het belang van testen

Ontwikkelfase

Dit hoofdstuk richt zich op de operationele fase van het uitrollen en beheren van LLM-applicaties. We behandelen uitrolstrategieën zoals CI/CD, opschalings­technieken, monitoringpraktijken, kostenbeheersings­strategieën en overwegingen rond governance en beveiliging. Als je deze concepten beheerst, kun je LLM-applicaties efficiënt beheren in operationele omgevingen.

Deployment

De noodzaak van CI/CD

Opties

Horizontaal schalen

Verticaal schalen

De juiste schaalstrategie

Monitoring en observeerbaarheid

Inputmonitoring

Functionele monitoring

Outputmonitoring

Je applicatie monitoren

Alertafhandeling

Kostenbeheer

ChatGPT

Promptcompressie

Een kostenprognose maken

Governance en beveiliging

Prompt injection

Prompt-injectie

Data poisoning

Denial-of-service

Mitigatiestrategieën

Dataintegriteit en poisoning

Gefeliciteerd

Operationele fase

Ga aan de slag met Large Language Model Operations (LLMOps). Deze cursus, voor zowel enthousiastelingen als professionals, begeleidt je door de basis, van idee tot operationele uitrol.

Door in de levenscyclus van LLM-applicaties te duiken, ontdek je de cruciale rol ervan binnen organisaties. Je krijgt inzicht in de uitdagingen en aandachtspunten in elke fase, hoe je ontwikkeling kunt aanscherpen en een soepele uitrol waarborgt, terwijl je rekening houdt met data governance en beveiliging. Aan het einde van de cursus heb je een stevige basis in LLMOps-concepten en weet je hoe je die toepast op je eigen applicaties.

<h2> Een inleiding tot LLMOps </h2>

Ga op reis naar Large Language Model Operations (LLMOps). Deze cursus, die zowel voor liefhebbers als professionals is gemaakt, laat je de basis zien, van het bedenken van ideeën tot het daadwerkelijk inzetten ervan.

<h2> Ontdek de essentie </h2>

Begin je ontdekkingsreis door de basisprincipes van LLMOps te ontrafelen. Begrijp de belangrijke rol ervan binnen organisaties en leer de basisconcepten van LLM's en LLMOps. Deze cursus gaat niet echt over het bouwen van je eigen basis-LLM. Het is juist bedoeld om de mogelijkheden van een basis model te gebruiken voor toepassingen binnen je organisatie.

<h2> Navigeer door de levenscyclus </h2>

Als je je verdiept in de levenscyclus van LLM-applicaties, zie je hoe belangrijk die zijn voor organisaties. Je krijgt inzicht in de uitdagingen en overwegingen in elke fase en hoe je de ontwikkeling kunt verfijnen en een soepele implementatie kunt garanderen, terwijl je tegelijkertijd databeheer en -beveiliging omarmt. 

Na het afronden van deze cursus heb je niet alleen een goed begrip van LLMOps, maar kun je deze concepten ook vol vertrouwen toepassen in je werk. Of je nu net begint of je kennis wilt verdiepen, deze cursus helpt je je vaardigheden te verbeteren en begeleidt je op weg naar het beheersen van LLMOps.

Large Language Models (LLMs) Concepts

Leer over LLMOps van idee tot implementatie, ontdek uitdagingen en pas deze toe op je applicaties.

LLMOps-concepten

Leer alles over LLMOps, van idee tot implementatie, krijg inzicht in de levenscyclus en uitdagingen, en ontdek hoe je deze concepten kunt toepassen op je apps.

Associate AI Engineer voor ontwikkelaars

Grote taalmodellen ontwikkelen

Je wilt weten of gebruikers doorgaans lange en gedetailleerde vragen stellen, of juist kortere en eenvoudigere

Je wilt weten of een gebruiker kwaadaardige of schadelijke inhoud invoert

Je wilt de gemiddelde responstijd van de LLM weten om de retentie te maximaliseren

Je wilt uitvinden of de LLM is gestopt met werken, offline ging of een aanvraag niet kon afhandelen

Je wilt de gemiddelde lengte van de reacties van de chatbot bijhouden om de betrokkenheid te optimaliseren

Je wilt meten of de output van de chatbot schadelijke of toxische inhoud bevat om de gebruikerstevredenheid te optimaliseren

Je applicatie monitoren

LLMOps-concepten

Interactieve oefening met praktijkervaring