Acest capitol oferă o introducere în LLMOps și faza de ideare a dezvoltării aplicațiilor LLM. Explică noțiunile de bază ale LLMOps, evidențiază etapele ciclului de viață al LLM-urilor și acoperă activitățile cheie din faza de ideare, cum ar fi colectarea datelor și alegerea între LLM-uri open-source și proprietare.

Prezentare generală a LLMOps

LLMOps versus MLOps

Relevanța LLMOps

Ciclul de viață al LLM-urilor

Scopul fazelor ciclului de viață

Ciclul de viață al aplicației

Faza de ideare

Sursele de date

Modele proprietare versus open-source

Alegerea modelului de bază potrivit

Introducere în LLMOps și faza de ideare

Acest capitol se concentrează pe faza de dezvoltare a aplicațiilor LLM. Sunt abordate ingineria prompturilor, agenții și lanțurile de procesare, tehnicile RAG versus fine-tuning, precum și metodele de testare.

Ingineria prompturilor

Importanța prompt engineering-ului

Experimentând cu prompt engineering

Urmărirea prompturilor

Lanțuri și agenți

Diferența dintre agenți și lanțuri

Alegerea arhitecturii potrivite

RAG versus fine-tuning

Fluxul de lucru RAG

Compară RAG cu fine-tuning

Testare

Alegerea metricii potrivite

Importanța testării

Faza de dezvoltare

Acest capitol se concentrează pe faza operațională a implementării și gestionării aplicațiilor LLM. Vom acoperi strategii de implementare precum CI/CD, tehnici de scalare, practici de monitorizare, strategii de gestionare a costurilor și aspecte legate de guvernanță și securitate. Stăpânirea acestor concepte te va ajuta să gestionezi eficient aplicațiile LLM în medii operaționale.

Implementare

Necesitatea CI/CD

Opțiuni

Scalare orizontală

Scalare verticală

Strategia de scalare potrivită

Monitorizare și observabilitate

Monitorizarea intrărilor

Monitorizarea funcțională

Monitorizarea ieșirilor

Monitorizarea aplicației tale

Gestionarea alertelor

Managementul costurilor

ChatGPT

Compresia prompturilor

Realizarea unei prognoze de costuri

Guvernanță și securitate

Injectarea de prompt

Injecție de prompturi

Otrăvirea datelor

Denial of service

Strategii de atenuare a riscurilor

Integritatea datelor și otrăvirea modelului

Felicitări

Faza operațională

Explorează lumea Large Language Model Operations (LLMOps). Acest curs, conceput atât pentru pasionați, cât și pentru profesioniști, te ghidează prin noțiunile de bază, de la faza de ideare până la implementarea operațională.

Prin parcurgerea ciclului de viață al aplicațiilor LLM, vei descoperi rolul esențial pe care acestea îl joacă în organizații. Vei înțelege provocările și aspectele importante de la fiecare etapă, cum să optimizezi procesul de dezvoltare și să asiguri o implementare fără probleme, ținând cont de guvernanța datelor și securitate. La finalul cursului, vei avea o înțelegere solidă a conceptelor LLMOps și vei ști cum să le aplici în propriile aplicații.

<h2> O introducere în LLMOps </h2>

Pornește într-o călătorie în Large Language Model Operations (LLMOps). Acest curs, conceput atât pentru pasionați, cât și pentru profesioniști, te ghidează prin noțiunile de bază, de la ideare până la implementarea operațională.

<h2> Descoperă elementele esențiale </h2>

Începe-ți explorarea descifrând fundamentele LLMOps. Înțelege rolul său esențial în cadrul organizațiilor și aprofundează conceptele de bază ale LLM-urilor și LLMOps. Accentul principal al acestui curs nu este construirea propriului tău LLM fundamental. În schimb, este orientat spre valorificarea capabilităților unui model fundamental pentru aplicare în cadrul organizației tale.

<h2> Navighează ciclul de viață </h2>

Explorarea ciclului de viață al aplicațiilor LLM va dezvălui rolul său esențial în organizații. Vei obține perspective asupra provocărilor și aspectelor de luat în considerare în fiecare etapă și asupra modului de a rafina dezvoltarea și de a asigura o implementare fără probleme, în timp ce adopți guvernanța datelor și securitatea. 

După finalizarea acestui curs, nu doar că vei dobândi o înțelegere solidă a LLMOps, ci vei putea și să aplici cu încredere aceste concepte în activitatea ta. Fie că abia începi sau ești dornic să-ți aprofundezi înțelegerea, acest curs îți va îmbunătăți abilitățile și te va ghida spre stăpânirea LLMOps.

Large Language Models (LLMs) Concepts

Învață despre LLMOps de la idee la implementare și aplică aceste concepte în aplicațiile tale.

Concepte LLMOps

Inginer AI asociat pentru dezvoltatori

Dezvoltarea modelelor lingvistice mari

Vrei să știi dacă utilizatorii pun de obicei întrebări lungi și detaliate sau dacă tind să adreseze întrebări mai scurte și mai concise

Vrei să știi dacă un utilizator introduce conținut malițios sau dăunător

Vrei să cunoști timpul mediu de răspuns al LLM-ului pentru a maximiza retenția utilizatorilor

Vrei să afli dacă LLM-ul a încetat să funcționeze, a trecut offline sau nu a putut procesa o cerere

Dorești să monitorizezi lungimea medie a răspunsurilor chatbotului pentru a optimiza gradul de implicare al utilizatorilor

Vrei să măsori dacă răspunsurile chatbotului conțin conținut dăunător sau toxic, pentru a îmbunătăți satisfacția utilizatorilor

Monitorizarea aplicației tale

Concepte LLMOps

Exercițiu interactiv practic