Dieses Kapitel führt in LLMOps und die Ideationsphase der Entwicklung von LLM-Anwendungen ein. Es erklärt die Grundlagen von LLMOps, stellt die Phasen des LLM-Lebenszyklus heraus und behandelt zentrale Aktivitäten in der Ideationsphase, wie die Datenbeschaffung und die Wahl zwischen Open-Source- und proprietären LLMs.

Überblick über LLMOps

LLMOps versus MLOps

Relevanz von LLMOps

Lebenszyklus von LLMs

Der Zweck von Lebenszyklusphasen

Der Anwendungslebenszyklus

Ideation-Phase

Beschaffung von Daten

Proprietäre versus Open-Source-Modelle

Das passende Basismodell auswählen

Einführung in LLMOps & Ideationsphase

In diesem Kapitel steht die Entwicklungsphase beim Erstellen von LLM-Anwendungen im Fokus. Es behandelt Prompt Engineering, Agents und Chains, RAG im Vergleich zu Fine-Tuning sowie Testmethoden.

Prompt Engineering

Die Bedeutung von Prompt Engineering

Prompt Engineering ausprobieren

Prompts im Blick behalten

Chains und Agents

Der Unterschied zwischen Agents und Chains

Die richtige Architektur wählen

RAG versus Fine-Tuning

Der RAG-Workflow

RAG mit Fine-Tuning vergleichen

Testing

Die richtige Metrik wählen

Die Bedeutung von Tests

Entwicklungsphase

Dieses Kapitel konzentriert sich auf die Betriebsphase: Bereitstellung und Management von LLM-Anwendungen. Wir behandeln Bereitstellungsstrategien wie CI/CD, Skalierungstechniken, Monitoring-Praktiken, Kostenmanagementstrategien sowie Aspekte von Governance und Sicherheit. Wenn du diese Konzepte beherrschst, kannst du LLM-Anwendungen effizient in produktiven Umgebungen betreiben.

Bereitstellung

Warum CI/CD nötig ist

Optionen

Horizontales Skalieren

Vertikales Skalieren

Die richtige Skalierungsstrategie

Monitoring und Observability

Eingabe-Monitoring

Funktionales Monitoring

Ausgabe-Monitoring

Deine Anwendung monitoren

Alert-Handling

Kostenmanagement

Prompt-Komprimierung

Eine Kostenprognose erstellen

Governance und Sicherheit

Prompt-Injection

Prompt Injection

Data Poisoning

Denial-of-Service

Gegenmaßnahmen

Datenintegrität und Poisoning

Glückwunsch

Betriebsphase

Starte in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs richtet sich an Interessierte und Profis gleichermaßen und führt dich von der Idee bis zur produktiven Nutzung durch die Grundlagen.

Ein Blick in den Lebenszyklus von LLM-Anwendungen zeigt dir ihre zentrale Rolle in Unternehmen. Du lernst die Herausforderungen und Überlegungen in jeder Phase kennen und wie du die Entwicklung verbesserst und eine reibungslose Bereitstellung sicherstellst – inklusive Daten-Governance und Sicherheit. Am Ende des Kurses hast du ein solides Verständnis der LLMOps-Konzepte und weißt, wie du sie in deinen Anwendungen anwendest.

<h2> Eine Einführung in Chat </h2>

Komm mit auf eine Reise in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs ist für alle, die sich dafür interessieren, und Profis gedacht und zeigt dir die Grundlagen, von der Idee bis zur Umsetzung.

<h2> Entdecke das Wesentliche </h2>

Starte deine Entdeckungsreise, indem du die Grundlagen von LLMOps verstehst. Verstehe die wichtige Rolle von LLMs und LLMOps in der Unternehmenslandschaft und lerne die Kernkonzepte kennen. Der Hauptfokus dieses Kurses liegt nicht darauf, dein eigenes grundlegendes LLM zu erstellen. Stattdessen geht's darum, die Möglichkeiten eines grundlegenden Modells für die Anwendung in deiner Organisation zu nutzen.

<h2> Durch den Lebenszyklus navigieren </h2>

Wenn man sich den LLM-Anwendungslebenszyklus genauer anschaut, wird klar, wie wichtig er für Unternehmen ist. Du bekommst einen Einblick in die Herausforderungen und Überlegungen in jeder Phase und erfährst, wie du die Entwicklung optimieren und eine reibungslose Bereitstellung sicherstellen kannst, während du gleichzeitig Datenverwaltung und -sicherheit berücksichtigst. 

Nach dem Abschluss dieses Kurses hast du nicht nur ein solides Verständnis von LLMOps, sondern kannst diese Konzepte auch sicher in deiner Arbeit anwenden. Egal, ob du gerade erst anfängst oder dein Wissen vertiefen willst, dieser Kurs hilft dir dabei, deine Fähigkeiten zu verbessern und macht dich fit für LLMOps.

Large Language Models (LLMs) Concepts

Erfahren Sie alles über LLMOps von der Idee bis zur Umsetzung und wie Sie es auf Ihre Apps anwenden.

LLMOps-Konzepte

LLMOps praktisch anwenden. Dieser Kurs liefert wertvolle Einblicke rund um Lebenszyklus und Best Practices.

Associate AI Engineer für Entwickler

Entwicklung von großen Sprachmodellen

Zwischen 17 und 18 Uhr steigt der Traffic auf dein Modell auf das Zehnfache, was berücksichtigt werden muss

Du erwartest, dass sich die Nutzerbasis des Modells dieses Jahr monatlich verdoppelt, eventuell darüber hinaus, und musst sicherstellen, dass die Anwendung dieses Wachstum bewältigen kann

Um den Echtzeit-Charakter deiner Anwendung zu verbessern, musst du die Antwortzeit für jede einzelne Anfrage verkürzen

Du stellst fest, dass die Anwendung bei einigen spezifischen Anfragen aus dem Speicher läuft – selbst bei geringer Auslastung

Die richtige Skalierungsstrategie

LLMOps-Konzepte

Interaktive Übung