This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Bereitstellung

Warum CI/CD nötig ist

Optionen

Horizontales Skalieren

Vertikales Skalieren

Die richtige Skalierungsstrategie

Monitoring und Observability

Eingabe-Monitoring

Funktionales Monitoring

Ausgabe-Monitoring

Deine Anwendung monitoren

Alert-Handling

Kostenmanagement

ChatGPT

Prompt-Komprimierung

Eine Kostenprognose erstellen

Governance und Sicherheit

Prompt-Injection

Prompt Injection

Data Poisoning

Denial-of-Service

Gegenmaßnahmen

Datenintegrität und Poisoning

Glückwunsch

Operational Phase

Starte in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs richtet sich an Interessierte und Profis gleichermaßen und führt dich von der Idee bis zur produktiven Nutzung durch die Grundlagen.

Ein Blick in den Lebenszyklus von LLM-Anwendungen zeigt dir ihre zentrale Rolle in Unternehmen. Du lernst die Herausforderungen und Überlegungen in jeder Phase kennen und wie du die Entwicklung verbesserst und eine reibungslose Bereitstellung sicherstellst – inklusive Daten-Governance und Sicherheit. Am Ende des Kurses hast du ein solides Verständnis der LLMOps-Konzepte und weißt, wie du sie in deinen Anwendungen anwendest.

<h2> Eine Einführung in Chat </h2>

Komm mit auf eine Reise in die Welt der Large Language Model Operations (LLMOps). Dieser Kurs ist für alle, die sich dafür interessieren, und Profis gedacht und zeigt dir die Grundlagen, von der Idee bis zur Umsetzung.

<h2> Entdecke das Wesentliche </h2>

Starte deine Entdeckungsreise, indem du die Grundlagen von LLMOps verstehst. Verstehe die wichtige Rolle von LLMs und LLMOps in der Unternehmenslandschaft und lerne die Kernkonzepte kennen. Der Hauptfokus dieses Kurses liegt nicht darauf, dein eigenes grundlegendes LLM zu erstellen. Stattdessen geht's darum, die Möglichkeiten eines grundlegenden Modells für die Anwendung in deiner Organisation zu nutzen.

<h2> Durch den Lebenszyklus navigieren </h2>

Wenn man sich den LLM-Anwendungslebenszyklus genauer anschaut, wird klar, wie wichtig er für Unternehmen ist. Du bekommst einen Einblick in die Herausforderungen und Überlegungen in jeder Phase und erfährst, wie du die Entwicklung optimieren und eine reibungslose Bereitstellung sicherstellen kannst, während du gleichzeitig Datenverwaltung und -sicherheit berücksichtigst. 

Nach dem Abschluss dieses Kurses hast du nicht nur ein solides Verständnis von LLMOps, sondern kannst diese Konzepte auch sicher in deiner Arbeit anwenden. Egal, ob du gerade erst anfängst oder dein Wissen vertiefen willst, dieser Kurs hilft dir dabei, deine Fähigkeiten zu verbessern und macht dich fit für LLMOps.

Large Language Models (LLMs) Concepts

Erfahren Sie alles über LLMOps von der Idee bis zur Umsetzung und wie Sie es auf Ihre Apps anwenden.

LLMOps-Konzepte

LLMOps praktisch anwenden. Dieser Kurs liefert wertvolle Einblicke rund um Lebenszyklus und Best Practices.

Associate AI Engineer für Entwickler

Entwicklung von großen Sprachmodellen

Zwischen 17 und 18 Uhr steigt der Traffic auf dein Modell auf das Zehnfache, was berücksichtigt werden muss

Du erwartest, dass sich die Nutzerbasis des Modells dieses Jahr monatlich verdoppelt, eventuell darüber hinaus, und musst sicherstellen, dass die Anwendung dieses Wachstum bewältigen kann

Um den Echtzeit-Charakter deiner Anwendung zu verbessern, musst du die Antwortzeit für jede einzelne Anfrage verkürzen

Du stellst fest, dass die Anwendung bei einigen spezifischen Anfragen aus dem Speicher läuft – selbst bei geringer Auslastung

Die richtige Skalierungsstrategie

Interaktive praktische Übung