This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

Het belang van prompt engineering

Aan de slag met prompt engineering

Prompts bijhouden

Chains en agents

Opties

Agent

Chain

Het verschil tussen agents en chains

De juiste architectuur kiezen

RAG versus fine-tunen

LLM-keten

De RAG-workflow

Fine-tuning

Vergelijk RAG met fine-tuning

Testen

Traditionele machine learning-metriek

Tekstvergelijkingsmetriek

De juiste metriek kiezen

Het belang van testen

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Ga aan de slag met Large Language Model Operations (LLMOps). Deze cursus, voor zowel enthousiastelingen als professionals, begeleidt je door de basis, van idee tot operationele uitrol.

Door in de levenscyclus van LLM-applicaties te duiken, ontdek je de cruciale rol ervan binnen organisaties. Je krijgt inzicht in de uitdagingen en aandachtspunten in elke fase, hoe je ontwikkeling kunt aanscherpen en een soepele uitrol waarborgt, terwijl je rekening houdt met data governance en beveiliging. Aan het einde van de cursus heb je een stevige basis in LLMOps-concepten en weet je hoe je die toepast op je eigen applicaties.

<h2> Een inleiding tot LLMOps </h2>

Ga op reis naar Large Language Model Operations (LLMOps). Deze cursus, die zowel voor liefhebbers als professionals is gemaakt, laat je de basis zien, van het bedenken van ideeën tot het daadwerkelijk inzetten ervan.

<h2> Ontdek de essentie </h2>

Begin je ontdekkingsreis door de basisprincipes van LLMOps te ontrafelen. Begrijp de belangrijke rol ervan binnen organisaties en leer de basisconcepten van LLM's en LLMOps. Deze cursus gaat niet echt over het bouwen van je eigen basis-LLM. Het is juist bedoeld om de mogelijkheden van een basis model te gebruiken voor toepassingen binnen je organisatie.

<h2> Navigeer door de levenscyclus </h2>

Als je je verdiept in de levenscyclus van LLM-applicaties, zie je hoe belangrijk die zijn voor organisaties. Je krijgt inzicht in de uitdagingen en overwegingen in elke fase en hoe je de ontwikkeling kunt verfijnen en een soepele implementatie kunt garanderen, terwijl je tegelijkertijd databeheer en -beveiliging omarmt. 

Na het afronden van deze cursus heb je niet alleen een goed begrip van LLMOps, maar kun je deze concepten ook vol vertrouwen toepassen in je werk. Of je nu net begint of je kennis wilt verdiepen, deze cursus helpt je je vaardigheden te verbeteren en begeleidt je op weg naar het beheersen van LLMOps.

Large Language Models (LLMs) Concepts

Leer over LLMOps van idee tot implementatie, ontdek uitdagingen en pas deze toe op je applicaties.

LLMOps-concepten

Leer alles over LLMOps, van idee tot implementatie, krijg inzicht in de levenscyclus en uitdagingen, en ontdek hoe je deze concepten kunt toepassen op je apps.

Associate AI Engineer voor ontwikkelaars

Grote taalmodellen ontwikkelen

Een LLM-toepassing die het aantal calorieën van gerechten voorspelt

Een LLM-toepassing die classificeert of een forumbericht toxisch is of niet

Een LLM-toepassing die veelgestelde vragen van een website beantwoordt

Een LLM-toepassing die chatgeschiedenissen samenvat

De juiste metriek kiezen

LLMOps-concepten

Praktische interactieve oefening