This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

De noodzaak van CI/CD

Opties

Horizontaal schalen

Verticaal schalen

De juiste schaalstrategie

Monitoring en observeerbaarheid

Inputmonitoring

Functionele monitoring

Outputmonitoring

Je applicatie monitoren

Alertafhandeling

Kostenbeheer

Promptcompressie

Een kostenprognose maken

Governance en beveiliging

Prompt injection

Prompt-injectie

Data poisoning

Denial-of-service

Mitigatiestrategieën

Dataintegriteit en poisoning

Gefeliciteerd

Operational Phase

Ga aan de slag met Large Language Model Operations (LLMOps). Deze cursus, voor zowel enthousiastelingen als professionals, begeleidt je door de basis, van idee tot operationele uitrol.

Door in de levenscyclus van LLM-applicaties te duiken, ontdek je de cruciale rol ervan binnen organisaties. Je krijgt inzicht in de uitdagingen en aandachtspunten in elke fase, hoe je ontwikkeling kunt aanscherpen en een soepele uitrol waarborgt, terwijl je rekening houdt met data governance en beveiliging. Aan het einde van de cursus heb je een stevige basis in LLMOps-concepten en weet je hoe je die toepast op je eigen applicaties.

<h2> Een inleiding tot LLMOps </h2>

Ga op reis naar Large Language Model Operations (LLMOps). Deze cursus, die zowel voor liefhebbers als professionals is gemaakt, laat je de basis zien, van het bedenken van ideeën tot het daadwerkelijk inzetten ervan.

<h2> Ontdek de essentie </h2>

Begin je ontdekkingsreis door de basisprincipes van LLMOps te ontrafelen. Begrijp de belangrijke rol ervan binnen organisaties en leer de basisconcepten van LLM's en LLMOps. Deze cursus gaat niet echt over het bouwen van je eigen basis-LLM. Het is juist bedoeld om de mogelijkheden van een basis model te gebruiken voor toepassingen binnen je organisatie.

<h2> Navigeer door de levenscyclus </h2>

Als je je verdiept in de levenscyclus van LLM-applicaties, zie je hoe belangrijk die zijn voor organisaties. Je krijgt inzicht in de uitdagingen en overwegingen in elke fase en hoe je de ontwikkeling kunt verfijnen en een soepele implementatie kunt garanderen, terwijl je tegelijkertijd databeheer en -beveiliging omarmt. 

Na het afronden van deze cursus heb je niet alleen een goed begrip van LLMOps, maar kun je deze concepten ook vol vertrouwen toepassen in je werk. Of je nu net begint of je kennis wilt verdiepen, deze cursus helpt je je vaardigheden te verbeteren en begeleidt je op weg naar het beheersen van LLMOps.

Large Language Models (LLMs) Concepts

Leer over LLMOps van idee tot implementatie, ontdek uitdagingen en pas deze toe op je applicaties.

LLMOps-concepten

Leer alles over LLMOps, van idee tot implementatie, krijg inzicht in de levenscyclus en uitdagingen, en ontdek hoe je deze concepten kunt toepassen op je apps.

Associate AI Engineer voor ontwikkelaars

Grote taalmodellen ontwikkelen

Tussen 17.00 en 18.00 uur is er een vertienvoudiging van het verkeer naar je model waarmee je rekening moet houden

Je verwacht dat de gebruikersgroep van het model dit jaar maandelijks verdubbelt, mogelijk nog langer, dus de applicatie moet deze groei aankunnen

Om je applicatie meer realtime te maken, moet je de responstijd voor elke individuele aanvraag verbeteren

Je merkt dat de applicatie bij sommige specifieke aanvragen uit het geheugen loopt, zelfs bij weinig verkeer

De juiste schaalstrategie

LLMOps-concepten

Praktische interactieve oefening