Ten rozdział wprowadza w tematykę LLMOps oraz fazy ideacji w procesie tworzenia aplikacji LLM. Wyjaśnia podstawy LLMOps, omawia etapy cyklu życia modeli LLM i opisuje kluczowe działania w fazie ideacji – takie jak pozyskiwanie danych oraz wybór między modelami open-source a modelami własnościowymi.

Omówienie LLMOps

LLMOps a MLOps

Znaczenie LLMOps

Cykl życia LLM

Znaczenie faz cyklu życia

Cykl życia aplikacji

Faza ideacji

Pozyskiwanie danych

Modele własnościowe a open-source

Wybór odpowiedniego modelu bazowego

Wprowadzenie do LLMOps i faza ideacji

Ten rozdział skupia się na fazie rozwoju aplikacji LLM. Omawia inżynierię promptów, agentów i łańcuchy, techniki RAG i dostrajania modeli oraz metody testowania.

Inżynieria promptów

Znaczenie inżynierii promptów

Testowanie prompt engineeringu

Śledzenie promptów

Łańcuchy i agenty

Różnica między agentami a łańcuchami

Wybór odpowiedniej architektury

RAG a dostrajanie modelu

Przepływ pracy RAG

Porównaj RAG z fine-tuningiem

Testowanie

Wybór odpowiedniej metryki

Znaczenie testowania

Faza rozwoju

Ten rozdział poświęcony jest fazie operacyjnej – wdrażaniu aplikacji LLM i zarządzaniu nimi. Omówimy strategie wdrożenia, takie jak CI/CD, techniki skalowania, praktyki monitorowania, strategie zarządzania kosztami oraz zagadnienia dotyczące ładu i bezpieczeństwa. Opanowanie tych koncepcji pomoże ci sprawnie zarządzać aplikacjami LLM w środowiskach produkcyjnych.

Wdrożenie

Po co stosować CI/CD

Opcje

Skalowanie poziome

Skalowanie pionowe

Właściwa strategia skalowania

Monitorowanie i obserwowalność

Monitorowanie danych wejściowych

Monitorowanie funkcjonalne

Monitorowanie danych wyjściowych

Monitorowanie aplikacji

Obsługa alertów

Zarządzanie kosztami

ChatGPT

Kompresja promptów

Tworzenie prognozy kosztów

Ład i bezpieczeństwo

Wstrzykiwanie promptu

Wstrzykiwanie promptów

Zatrucie danych

Denial of service

Strategie ograniczania ryzyka

Integralność danych i zatruwanie danych

Gratulacje

Faza operacyjna

Poznaj świat operacji na dużych modelach językowych (LLMOps). Ten kurs – stworzony zarówno dla pasjonatów, jak i profesjonalistów – przeprowadzi cię przez podstawy: od fazy pomysłu aż po wdrożenie produkcyjne.

Analizując cykl życia aplikacji LLM, odkryjesz, jaką kluczową rolę odgrywają one w organizacjach. Poznasz wyzwania i zagadnienia charakterystyczne dla każdego etapu, a także sposoby usprawniania procesu tworzenia i zapewniania płynnego wdrożenia – z uwzględnieniem zarządzania danymi i bezpieczeństwa. Po ukończeniu kursu będziesz dobrze rozumieć koncepcje LLMOps i umieć stosować je we własnych aplikacjach.

<h2> Wprowadzenie do LLMOps </h2>

Wyrusz w podróż do świata operacji na dużych modelach językowych (LLMOps). Ten kurs, zaprojektowany zarówno dla entuzjastów, jak i profesjonalistów, przeprowadzi Cię przez podstawy — od pomysłu po wdrożenie operacyjne.

<h2> Odkryj podstawy </h2>

Rozpocznij swoją eksplorację od zgłębienia podstaw LLMOps. Zrozum jego kluczową rolę w strukturach organizacyjnych i poznaj podstawowe koncepcje LLM oraz LLMOps. Główny nacisk tego kursu nie kładzie się na budowanie własnego podstawowego LLM. Zamiast tego jest ukierunkowany na wykorzystanie możliwości modelu bazowego do zastosowania w Twojej organizacji.

<h2> Przejdź przez cykl życia </h2>

Zagłębiając się w cykl życia aplikacji LLM, odkryjesz jego kluczową rolę w organizacjach. Zdobędziesz wiedzę o wyzwaniach i kwestiach, które pojawiają się na każdym etapie, oraz o tym, jak dopracować rozwój i zapewnić płynne wdrożenie, jednocześnie uwzględniając zarządzanie danymi i bezpieczeństwo. 

Po ukończeniu tego kursu nie tylko zdobędziesz solidne podstawy LLMOps, ale także będziesz potrafić pewnie stosować te koncepcje w swojej pracy. Niezależnie od tego, czy dopiero zaczynasz, czy chcesz pogłębić swoją wiedzę, ten kurs rozwinie Twoje umiejętności i poprowadzi Cię do opanowania LLMOps.

Large Language Models (LLMs) Concepts

Poznaj LLMOps od pomysłu do wdrożenia, zrozum cykl życia i wyzwania, zastosuj w swoich aplikacjach.

Koncepcje LLMOps

Poznaj LLMOps od pomysłu po wdrożenie, zdobądź wiedzę o cyklu życia i wyzwaniach oraz naucz się stosować te koncepcje w swoich aplikacjach.

Inżynier AI Associate dla programistów

Tworzenie dużych modeli językowych

Chcesz wiedzieć, czy użytkownicy zadają zazwyczaj długie i szczegółowe pytania, czy raczej krótkie i zwięzłe

Chcesz sprawdzić, czy użytkownik wprowadza treści złośliwe lub szkodliwe

Chcesz poznać średni czas odpowiedzi modelu językowego, aby zwiększyć retencję użytkowników

Chcesz sprawdzić, czy model językowy przestał działać, przeszedł w tryb offline lub nie był w stanie obsłużyć zapytania

Chcesz śledzić średnią długość odpowiedzi chatbota, aby zoptymalizować zaangażowanie użytkowników

Chcesz ocenić, czy dane wyjściowe chatbota zawierają treści szkodliwe lub toksyczne, w celu poprawy satysfakcji użytkowników

Monitorowanie aplikacji

Koncepcje LLMOps

Interaktywne ćwiczenie praktyczne