This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

De noodzaak van CI/CD

Opties

Horizontaal schalen

Verticaal schalen

De juiste schaalstrategie

Monitoring en observeerbaarheid

Inputmonitoring

Functionele monitoring

Outputmonitoring

Je applicatie monitoren

Alertafhandeling

Kostenbeheer

Promptcompressie

Een kostenprognose maken

Governance en beveiliging

Prompt injection

Prompt-injectie

Data poisoning

Denial-of-service

Mitigatiestrategieën

Dataintegriteit en poisoning

Gefeliciteerd

Operational Phase

Ga aan de slag met Large Language Model Operations (LLMOps). Deze cursus, voor zowel enthousiastelingen als professionals, begeleidt je door de basis, van idee tot operationele uitrol.

Door in de levenscyclus van LLM-applicaties te duiken, ontdek je de cruciale rol ervan binnen organisaties. Je krijgt inzicht in de uitdagingen en aandachtspunten in elke fase, hoe je ontwikkeling kunt aanscherpen en een soepele uitrol waarborgt, terwijl je rekening houdt met data governance en beveiliging. Aan het einde van de cursus heb je een stevige basis in LLMOps-concepten en weet je hoe je die toepast op je eigen applicaties.

<h2> Een inleiding tot LLMOps </h2>

Ga op reis naar Large Language Model Operations (LLMOps). Deze cursus, die zowel voor liefhebbers als professionals is gemaakt, laat je de basis zien, van het bedenken van ideeën tot het daadwerkelijk inzetten ervan.

<h2> Ontdek de essentie </h2>

Begin je ontdekkingsreis door de basisprincipes van LLMOps te ontrafelen. Begrijp de belangrijke rol ervan binnen organisaties en leer de basisconcepten van LLM's en LLMOps. Deze cursus gaat niet echt over het bouwen van je eigen basis-LLM. Het is juist bedoeld om de mogelijkheden van een basis model te gebruiken voor toepassingen binnen je organisatie.

<h2> Navigeer door de levenscyclus </h2>

Als je je verdiept in de levenscyclus van LLM-applicaties, zie je hoe belangrijk die zijn voor organisaties. Je krijgt inzicht in de uitdagingen en overwegingen in elke fase en hoe je de ontwikkeling kunt verfijnen en een soepele implementatie kunt garanderen, terwijl je tegelijkertijd databeheer en -beveiliging omarmt. 

Na het afronden van deze cursus heb je niet alleen een goed begrip van LLMOps, maar kun je deze concepten ook vol vertrouwen toepassen in je werk. Of je nu net begint of je kennis wilt verdiepen, deze cursus helpt je je vaardigheden te verbeteren en begeleidt je op weg naar het beheersen van LLMOps.

Large Language Models (LLMs) Concepts

Leer over LLMOps van idee tot implementatie, ontdek uitdagingen en pas deze toe op je applicaties.

LLMOps-concepten

Leer alles over LLMOps, van idee tot implementatie, krijg inzicht in de levenscyclus en uitdagingen, en ontdek hoe je deze concepten kunt toepassen op je apps.

Associate AI Engineer voor ontwikkelaars

Grote taalmodellen ontwikkelen

Je wilt weten of gebruikers doorgaans lange en gedetailleerde vragen stellen, of juist kortere en eenvoudigere

Je wilt weten of een gebruiker kwaadaardige of schadelijke inhoud invoert

Je wilt de gemiddelde responstijd van de LLM weten om de retentie te maximaliseren

Je wilt uitvinden of de LLM is gestopt met werken, offline ging of een aanvraag niet kon afhandelen

Je wilt de gemiddelde lengte van de reacties van de chatbot bijhouden om de betrokkenheid te optimaliseren

Je wilt meten of de output van de chatbot schadelijke of toxische inhoud bevat om de gebruikerstevredenheid te optimaliseren

Je applicatie monitoren

LLMOps-concepten

Praktische interactieve oefening