Ten rozdział wprowadza w tematykę LLMOps oraz fazy ideacji w procesie tworzenia aplikacji LLM. Wyjaśnia podstawy LLMOps, omawia etapy cyklu życia modeli LLM i opisuje kluczowe działania w fazie ideacji – takie jak pozyskiwanie danych oraz wybór między modelami open-source a modelami własnościowymi.

Omówienie LLMOps

LLMOps a MLOps

Znaczenie LLMOps

Cykl życia LLM

Znaczenie faz cyklu życia

Cykl życia aplikacji

Faza ideacji

Pozyskiwanie danych

Modele własnościowe a open-source

Wybór odpowiedniego modelu bazowego

Wprowadzenie do LLMOps i faza ideacji

Ten rozdział skupia się na fazie rozwoju aplikacji LLM. Omawia inżynierię promptów, agentów i łańcuchy, techniki RAG i dostrajania modeli oraz metody testowania.

Inżynieria promptów

Znaczenie inżynierii promptów

Testowanie prompt engineeringu

Śledzenie promptów

Łańcuchy i agenty

Różnica między agentami a łańcuchami

Wybór odpowiedniej architektury

RAG a dostrajanie modelu

Przepływ pracy RAG

Porównaj RAG z fine-tuningiem

Testowanie

Wybór odpowiedniej metryki

Znaczenie testowania

Faza rozwoju

Ten rozdział poświęcony jest fazie operacyjnej – wdrażaniu aplikacji LLM i zarządzaniu nimi. Omówimy strategie wdrożenia, takie jak CI/CD, techniki skalowania, praktyki monitorowania, strategie zarządzania kosztami oraz zagadnienia dotyczące ładu i bezpieczeństwa. Opanowanie tych koncepcji pomoże ci sprawnie zarządzać aplikacjami LLM w środowiskach produkcyjnych.

Wdrożenie

Po co stosować CI/CD

Opcje

Skalowanie poziome

Skalowanie pionowe

Właściwa strategia skalowania

Monitorowanie i obserwowalność

Monitorowanie danych wejściowych

Monitorowanie funkcjonalne

Monitorowanie danych wyjściowych

Monitorowanie aplikacji

Obsługa alertów

Zarządzanie kosztami

ChatGPT

Kompresja promptów

Tworzenie prognozy kosztów

Ład i bezpieczeństwo

Wstrzykiwanie promptu

Wstrzykiwanie promptów

Zatrucie danych

Denial of service

Strategie ograniczania ryzyka

Integralność danych i zatruwanie danych

Gratulacje

Faza operacyjna

Poznaj świat operacji na dużych modelach językowych (LLMOps). Ten kurs – stworzony zarówno dla pasjonatów, jak i profesjonalistów – przeprowadzi cię przez podstawy: od fazy pomysłu aż po wdrożenie produkcyjne.

Analizując cykl życia aplikacji LLM, odkryjesz, jaką kluczową rolę odgrywają one w organizacjach. Poznasz wyzwania i zagadnienia charakterystyczne dla każdego etapu, a także sposoby usprawniania procesu tworzenia i zapewniania płynnego wdrożenia – z uwzględnieniem zarządzania danymi i bezpieczeństwa. Po ukończeniu kursu będziesz dobrze rozumieć koncepcje LLMOps i umieć stosować je we własnych aplikacjach.

<h2> Wprowadzenie do LLMOps </h2>

Wyrusz w podróż do świata operacji na dużych modelach językowych (LLMOps). Ten kurs, zaprojektowany zarówno dla entuzjastów, jak i profesjonalistów, przeprowadzi Cię przez podstawy — od pomysłu po wdrożenie operacyjne.

<h2> Odkryj podstawy </h2>

Rozpocznij swoją eksplorację od zgłębienia podstaw LLMOps. Zrozum jego kluczową rolę w strukturach organizacyjnych i poznaj podstawowe koncepcje LLM oraz LLMOps. Główny nacisk tego kursu nie kładzie się na budowanie własnego podstawowego LLM. Zamiast tego jest ukierunkowany na wykorzystanie możliwości modelu bazowego do zastosowania w Twojej organizacji.

<h2> Przejdź przez cykl życia </h2>

Zagłębiając się w cykl życia aplikacji LLM, odkryjesz jego kluczową rolę w organizacjach. Zdobędziesz wiedzę o wyzwaniach i kwestiach, które pojawiają się na każdym etapie, oraz o tym, jak dopracować rozwój i zapewnić płynne wdrożenie, jednocześnie uwzględniając zarządzanie danymi i bezpieczeństwo. 

Po ukończeniu tego kursu nie tylko zdobędziesz solidne podstawy LLMOps, ale także będziesz potrafić pewnie stosować te koncepcje w swojej pracy. Niezależnie od tego, czy dopiero zaczynasz, czy chcesz pogłębić swoją wiedzę, ten kurs rozwinie Twoje umiejętności i poprowadzi Cię do opanowania LLMOps.

Large Language Models (LLMs) Concepts

Poznaj LLMOps od pomysłu do wdrożenia, zrozum cykl życia i wyzwania, zastosuj w swoich aplikacjach.

Koncepcje LLMOps

Poznaj LLMOps od pomysłu po wdrożenie, zdobądź wiedzę o cyklu życia i wyzwaniach oraz naucz się stosować te koncepcje w swoich aplikacjach.

Inżynier AI Associate dla programistów

Tworzenie dużych modeli językowych

Między 17:00 a 18:00 ruch do modelu wzrasta dziesięciokrotnie – aplikacja musi być w stanie to obsłużyć

Przewidujesz, że baza użytkowników modelu będzie się podwajać co miesiąc w ciągu tego roku, a może i dłużej – aplikacja musi nadążyć za tym wzrostem

Aby poprawić responsywność aplikacji w czasie rzeczywistym, musisz skrócić czas odpowiedzi dla każdego pojedynczego żądania

Zauważasz, że przy niektórych konkretnych żądaniach aplikacja wyczerpuje pamięć, nawet przy niskim ruchu

Właściwa strategia skalowania

Koncepcje LLMOps

Interaktywne ćwiczenie praktyczne