This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt Engineering

Die Bedeutung von Prompt Engineering

ChatGPT

Prompt Engineering ausprobieren

Prompts im Blick behalten

Chains und Agents

Optionen

Agent

Chain

Der Unterschied zwischen Agents und Chains

Die richtige Architektur wählen

RAG versus Fine-Tuning

LLM-Chain

Der RAG-Workflow

Fine-Tuning

RAG mit Fine-Tuning vergleichen

Testing

Traditionelle Metrik des maschinellen Lernens

Textvergleichsmetriken

Die richtige Metrik wählen

Die Bedeutung von Tests

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Deployment

The need for CI/CD

The right scaling strategy

Monitoring and observability

Monitoring your application

Alert handling

Cost management

Prompt compression

Making a cost prognosis

Governance and security

Prompt injection

Mitigation strategies

Data integrity and poisoning

Congratulations

Operational Phase

Starte in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs richtet sich an Interessierte und Profis gleichermaßen und führt dich von der Idee bis zur produktiven Nutzung durch die Grundlagen.

Ein Blick in den Lebenszyklus von LLM-Anwendungen zeigt dir ihre zentrale Rolle in Unternehmen. Du lernst die Herausforderungen und Überlegungen in jeder Phase kennen und wie du die Entwicklung verbesserst und eine reibungslose Bereitstellung sicherstellst – inklusive Daten-Governance und Sicherheit. Am Ende des Kurses hast du ein solides Verständnis der LLMOps-Konzepte und weißt, wie du sie in deinen Anwendungen anwendest.

<h2> Eine Einführung in Chat </h2>

Komm mit auf eine Reise in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs ist für alle, die sich dafür interessieren, und Profis gedacht und zeigt dir die Grundlagen, von der Idee bis zur Umsetzung.

<h2> Entdecke das Wesentliche </h2>

Starte deine Entdeckungsreise, indem du die Grundlagen von LLMOps verstehst. Verstehe die wichtige Rolle von LLMs und LLMOps in der Unternehmenslandschaft und lerne die Kernkonzepte kennen. Der Hauptfokus dieses Kurses liegt nicht darauf, dein eigenes grundlegendes LLM zu erstellen. Stattdessen geht's darum, die Möglichkeiten eines grundlegenden Modells für die Anwendung in deiner Organisation zu nutzen.

<h2> Durch den Lebenszyklus navigieren </h2>

Wenn man sich den LLM-Anwendungslebenszyklus genauer anschaut, wird klar, wie wichtig er für Unternehmen ist. Du bekommst einen Einblick in die Herausforderungen und Überlegungen in jeder Phase und erfährst, wie du die Entwicklung optimieren und eine reibungslose Bereitstellung sicherstellen kannst, während du gleichzeitig Datenverwaltung und -sicherheit berücksichtigst. 

Nach dem Abschluss dieses Kurses hast du nicht nur ein solides Verständnis von LLMOps, sondern kannst diese Konzepte auch sicher in deiner Arbeit anwenden. Egal, ob du gerade erst anfängst oder dein Wissen vertiefen willst, dieser Kurs hilft dir dabei, deine Fähigkeiten zu verbessern und macht dich fit für LLMOps.

Large Language Models (LLMs) Concepts

Erfahren Sie alles über LLMOps von der Idee bis zur Umsetzung und wie Sie es auf Ihre Apps anwenden.

LLMOps-Konzepte

LLMOps praktisch anwenden. Dieser Kurs liefert wertvolle Einblicke rund um Lebenszyklus und Best Practices.

Associate AI Engineer für Entwickler

Entwicklung von großen Sprachmodellen

Eine LLM-Anwendung, die die Kalorien von Gerichten vorhersagt

Eine LLM-Anwendung, die klassifiziert, ob eine Forennachricht toxisch ist oder nicht

Eine LLM-Anwendung, die häufige Fragen einer Website beantwortet

Eine LLM-Anwendung, die Chatverläufe zusammenfasst

Die richtige Metrik wählen

Interaktive praktische Übung