Acest capitol oferă o introducere în LLMOps și faza de ideare a dezvoltării aplicațiilor LLM. Explică noțiunile de bază ale LLMOps, evidențiază etapele ciclului de viață al LLM-urilor și acoperă activitățile cheie din faza de ideare, cum ar fi colectarea datelor și alegerea între LLM-uri open-source și proprietare.

Prezentare generală a LLMOps

LLMOps versus MLOps

Relevanța LLMOps

Ciclul de viață al LLM-urilor

Scopul fazelor ciclului de viață

Ciclul de viață al aplicației

Faza de ideare

Sursele de date

Modele proprietare versus open-source

Alegerea modelului de bază potrivit

Introducere în LLMOps și faza de ideare

Acest capitol se concentrează pe faza de dezvoltare a aplicațiilor LLM. Sunt abordate ingineria prompturilor, agenții și lanțurile de procesare, tehnicile RAG versus fine-tuning, precum și metodele de testare.

Ingineria prompturilor

Importanța prompt engineering-ului

Experimentând cu prompt engineering

Urmărirea prompturilor

Lanțuri și agenți

Diferența dintre agenți și lanțuri

Alegerea arhitecturii potrivite

RAG versus fine-tuning

Fluxul de lucru RAG

Compară RAG cu fine-tuning

Testare

Alegerea metricii potrivite

Importanța testării

Faza de dezvoltare

Acest capitol se concentrează pe faza operațională a implementării și gestionării aplicațiilor LLM. Vom acoperi strategii de implementare precum CI/CD, tehnici de scalare, practici de monitorizare, strategii de gestionare a costurilor și aspecte legate de guvernanță și securitate. Stăpânirea acestor concepte te va ajuta să gestionezi eficient aplicațiile LLM în medii operaționale.

Implementare

Necesitatea CI/CD

Opțiuni

Scalare orizontală

Scalare verticală

Strategia de scalare potrivită

Monitorizare și observabilitate

Monitorizarea intrărilor

Monitorizarea funcțională

Monitorizarea ieșirilor

Monitorizarea aplicației tale

Gestionarea alertelor

Managementul costurilor

ChatGPT

Compresia prompturilor

Realizarea unei prognoze de costuri

Guvernanță și securitate

Injectarea de prompt

Injecție de prompturi

Otrăvirea datelor

Denial of service

Strategii de atenuare a riscurilor

Integritatea datelor și otrăvirea modelului

Felicitări

Faza operațională

Explorează lumea Large Language Model Operations (LLMOps). Acest curs, conceput atât pentru pasionați, cât și pentru profesioniști, te ghidează prin noțiunile de bază, de la faza de ideare până la implementarea operațională.

Prin parcurgerea ciclului de viață al aplicațiilor LLM, vei descoperi rolul esențial pe care acestea îl joacă în organizații. Vei înțelege provocările și aspectele importante de la fiecare etapă, cum să optimizezi procesul de dezvoltare și să asiguri o implementare fără probleme, ținând cont de guvernanța datelor și securitate. La finalul cursului, vei avea o înțelegere solidă a conceptelor LLMOps și vei ști cum să le aplici în propriile aplicații.

<h2> O introducere în LLMOps </h2>

Pornește într-o călătorie în Large Language Model Operations (LLMOps). Acest curs, conceput atât pentru pasionați, cât și pentru profesioniști, te ghidează prin noțiunile de bază, de la ideare până la implementarea operațională.

<h2> Descoperă elementele esențiale </h2>

Începe-ți explorarea descifrând fundamentele LLMOps. Înțelege rolul său esențial în cadrul organizațiilor și aprofundează conceptele de bază ale LLM-urilor și LLMOps. Accentul principal al acestui curs nu este construirea propriului tău LLM fundamental. În schimb, este orientat spre valorificarea capabilităților unui model fundamental pentru aplicare în cadrul organizației tale.

<h2> Navighează ciclul de viață </h2>

Explorarea ciclului de viață al aplicațiilor LLM va dezvălui rolul său esențial în organizații. Vei obține perspective asupra provocărilor și aspectelor de luat în considerare în fiecare etapă și asupra modului de a rafina dezvoltarea și de a asigura o implementare fără probleme, în timp ce adopți guvernanța datelor și securitatea. 

După finalizarea acestui curs, nu doar că vei dobândi o înțelegere solidă a LLMOps, ci vei putea și să aplici cu încredere aceste concepte în activitatea ta. Fie că abia începi sau ești dornic să-ți aprofundezi înțelegerea, acest curs îți va îmbunătăți abilitățile și te va ghida spre stăpânirea LLMOps.

Large Language Models (LLMs) Concepts

Învață despre LLMOps de la idee la implementare și aplică aceste concepte în aplicațiile tale.

Concepte LLMOps

Inginer AI asociat pentru dezvoltatori

Dezvoltarea modelelor lingvistice mari

Între orele 17 și 18 apare o creștere de zece ori a traficului către model, care trebuie gestionată corespunzător

Anticipezi că baza de utilizatori a modelului se va dubla lunar în cursul acestui an, posibil și mai mult, deci trebuie să te asiguri că aplicația poate face față acestei creșteri

Pentru a îmbunătăți caracterul în timp real al aplicației tale, trebuie să reduci timpul de răspuns pentru fiecare cerere individuală

Observi că, pentru anumite cereri specifice, aplicația depășește memoria disponibilă, chiar și în perioadele cu trafic redus

Strategia de scalare potrivită

Concepte LLMOps

Exercițiu interactiv practic