Dieses Kapitel führt in LLMOps und die Ideationsphase der Entwicklung von LLM-Anwendungen ein. Es erklärt die Grundlagen von LLMOps, stellt die Phasen des LLM-Lebenszyklus heraus und behandelt zentrale Aktivitäten in der Ideationsphase, wie die Datenbeschaffung und die Wahl zwischen Open-Source- und proprietären LLMs.

Überblick über LLMOps

LLMOps versus MLOps

Relevanz von LLMOps

Lebenszyklus von LLMs

Der Zweck von Lebenszyklusphasen

Der Anwendungslebenszyklus

Ideation-Phase

Beschaffung von Daten

Proprietäre versus Open-Source-Modelle

Das passende Basismodell auswählen

Einführung in LLMOps & Ideationsphase

In diesem Kapitel steht die Entwicklungsphase beim Erstellen von LLM-Anwendungen im Fokus. Es behandelt Prompt Engineering, Agents und Chains, RAG im Vergleich zu Fine-Tuning sowie Testmethoden.

Prompt Engineering

Die Bedeutung von Prompt Engineering

Prompt Engineering ausprobieren

Prompts im Blick behalten

Chains und Agents

Der Unterschied zwischen Agents und Chains

Die richtige Architektur wählen

RAG versus Fine-Tuning

Der RAG-Workflow

RAG mit Fine-Tuning vergleichen

Testing

Die richtige Metrik wählen

Die Bedeutung von Tests

Entwicklungsphase

Dieses Kapitel konzentriert sich auf die Betriebsphase: Bereitstellung und Management von LLM-Anwendungen. Wir behandeln Bereitstellungsstrategien wie CI/CD, Skalierungstechniken, Monitoring-Praktiken, Kostenmanagementstrategien sowie Aspekte von Governance und Sicherheit. Wenn du diese Konzepte beherrschst, kannst du LLM-Anwendungen effizient in produktiven Umgebungen betreiben.

Bereitstellung

Warum CI/CD nötig ist

Optionen

Horizontales Skalieren

Vertikales Skalieren

Die richtige Skalierungsstrategie

Monitoring und Observability

Eingabe-Monitoring

Funktionales Monitoring

Ausgabe-Monitoring

Deine Anwendung monitoren

Alert-Handling

Kostenmanagement

Prompt-Komprimierung

Eine Kostenprognose erstellen

Governance und Sicherheit

Prompt-Injection

Prompt Injection

Data Poisoning

Denial-of-Service

Gegenmaßnahmen

Datenintegrität und Poisoning

Glückwunsch

Betriebsphase

Starte in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs richtet sich an Interessierte und Profis gleichermaßen und führt dich von der Idee bis zur produktiven Nutzung durch die Grundlagen.

Ein Blick in den Lebenszyklus von LLM-Anwendungen zeigt dir ihre zentrale Rolle in Unternehmen. Du lernst die Herausforderungen und Überlegungen in jeder Phase kennen und wie du die Entwicklung verbesserst und eine reibungslose Bereitstellung sicherstellst – inklusive Daten-Governance und Sicherheit. Am Ende des Kurses hast du ein solides Verständnis der LLMOps-Konzepte und weißt, wie du sie in deinen Anwendungen anwendest.

<h2> Eine Einführung in Chat </h2>

Komm mit auf eine Reise in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs ist für alle, die sich dafür interessieren, und Profis gedacht und zeigt dir die Grundlagen, von der Idee bis zur Umsetzung.

<h2> Entdecke das Wesentliche </h2>

Starte deine Entdeckungsreise, indem du die Grundlagen von LLMOps verstehst. Verstehe die wichtige Rolle von LLMs und LLMOps in der Unternehmenslandschaft und lerne die Kernkonzepte kennen. Der Hauptfokus dieses Kurses liegt nicht darauf, dein eigenes grundlegendes LLM zu erstellen. Stattdessen geht's darum, die Möglichkeiten eines grundlegenden Modells für die Anwendung in deiner Organisation zu nutzen.

<h2> Durch den Lebenszyklus navigieren </h2>

Wenn man sich den LLM-Anwendungslebenszyklus genauer anschaut, wird klar, wie wichtig er für Unternehmen ist. Du bekommst einen Einblick in die Herausforderungen und Überlegungen in jeder Phase und erfährst, wie du die Entwicklung optimieren und eine reibungslose Bereitstellung sicherstellen kannst, während du gleichzeitig Datenverwaltung und -sicherheit berücksichtigst. 

Nach dem Abschluss dieses Kurses hast du nicht nur ein solides Verständnis von LLMOps, sondern kannst diese Konzepte auch sicher in deiner Arbeit anwenden. Egal, ob du gerade erst anfängst oder dein Wissen vertiefen willst, dieser Kurs hilft dir dabei, deine Fähigkeiten zu verbessern und macht dich fit für LLMOps.

Large Language Models (LLMs) Concepts

Erfahren Sie alles über LLMOps von der Idee bis zur Umsetzung und wie Sie es auf Ihre Apps anwenden.

LLMOps-Konzepte

LLMOps praktisch anwenden. Dieser Kurs liefert wertvolle Einblicke rund um Lebenszyklus und Best Practices.

Associate AI Engineer für Entwickler

Entwicklung von großen Sprachmodellen

Du möchtest wissen, ob Nutzer:innen typischerweise lange und detaillierte Fragen stellen oder eher einfache, kurze

Du möchtest wissen, ob ein:e Nutzer:in bösartige oder schädliche Inhalte eingibt

Du möchtest die durchschnittliche Antwortzeit des LLM kennen, um die Bindung zu maximieren

Du möchtest herausfinden, ob das LLM nicht mehr funktioniert, offline gegangen ist oder eine Anfrage nicht verarbeiten konnte

Du möchtest die durchschnittliche Länge der Chatbot-Antworten nachverfolgen, um das Engagement zu optimieren

Du möchtest messen, ob die Ausgaben des Chatbots schädliche oder toxische Inhalte enthalten, um die Nutzerzufriedenheit zu optimieren

Deine Anwendung monitoren

LLMOps-Konzepte

Interaktive Übung