Trenowanie modelu od początku do końca

Wyobraź sobie, że jesteś kierownikiem projektu nadzorującym zespół inżynierów i badaczy tworzących model językowy (LLM).

Twoim głównym celem jest zapewnienie optymalnej wydajności modelu poprzez skuteczne wdrożenie wszystkich trzech etapów trenowania LLM: przygotowania danych, trenowania (pre-trening + dostrajanie) oraz zaawansowanego dostrajania (RLHF).

Skorzystaj z interaktywnej aplikacji, aby ułożyć 6 kroków procesu trenowania LLM we właściwej kolejności.

Jaka jest prawidłowa sekwencja trenowania nowoczesnego modelu językowego?

To ćwiczenie jest częścią kursu

Koncepcje dużych modeli językowych (LLM)

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Koncepcje dużych modeli językowych (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

9064 reviews

Rozpocznij kurs za darmo

Krajobraz sztucznej inteligencji zmienia się w szybkim tempie, a duże modele językowe (LLM) są w centrum tych zmian. Ten rozdział pokazuje, jak LLM przyspieszają rozwój sztucznej inteligencji zdolnej do naśladowania ludzkiego języka i jak przekształcają różne branże dzięki swoim licznym zastosowaniom. Poznasz też wyzwania i złożoność związane z modelowaniem języka.

Exercise 1: Wzrost znaczenia LLM w krajobrazie sztucznej inteligencji Exercise 2: Definicja dużego modelu językowego Exercise 3: Duże modele językowe w krajobrazie SI Exercise 4: AI vs. aplikacje LLM Exercise 5: Zastosowania w praktyce Exercise 6: Zastosowania biznesowe Exercise 7: Zastosowania multimodalne Exercise 8: Automatyzacja zadań opartych na danych Exercise 9: Wyzwania związane z modelowaniem języka Exercise 10: Co potrafi model językowy?Exercise 11: Uczenie jednozdaniowe a wielozadaniowe

Ten rozdział podkreśla nowatorski charakter LLM i ich wyłaniające się możliwości, a także przedstawia różne techniki NLP służące do przygotowania danych. Dowiesz się, jakie wyzwania wiążą się z trenowaniem LLM i jak fine-tuning może skutecznie im sprostać. Zrozumiesz też, jak techniki uczenia N-shot umożliwiają efektywne dostosowywanie wstępnie wytrenowanych modeli w sytuacji, gdy dostępna jest ograniczona ilość oznaczonych danych.

Exercise 1: Nowatorstwo LLM Exercise 2: Rozwiązywanie problemów z pomocą LLM Exercise 3: Tradycyjne modele a LLM-y Exercise 4: Ogólne wprowadzenie do NLP Exercise 5: Przygotowanie danych Exercise 6: Przetwarzanie i reprezentacja tekstu Exercise 7: Osadzenia słów zamiast bag-of-words Exercise 8: Dostrajanie modelu Exercise 9: Wyzwania związane z budowaniem LLM Exercise 10: Dostosowanie wstępnie wytrenowanego modelu Exercise 11: Wstępne trenowanie czy dostrajanie?Exercise 12: Techniki uczenia Exercise 13: Dostrajanie modelu Exercise 14: Uczenie N-shot

W tym rozdziale poznasz podstawowe elementy składowe procesu trenowania LLM, takie jak techniki pre-treningu. Zdobędziesz też intuicyjne zrozumienie złożonych koncepcji, takich jak architektura transformera, w tym mechanizm uwagi. Rozdział omawia zaawansowaną technikę fine-tuningu i podsumowuje cały proces trenowania LLM.

Exercise 1: Elementy składowe trenowania LLM Exercise 2: Maskowanie słów Exercise 3: Przewiduj następne słowo Exercise 4: Budowanie od podstaw Exercise 5: Wprowadzenie do transformera Exercise 6: Relacje między odległymi słowami Exercise 7: Komponenty transformera Exercise 8: Mechanizmy uwagi Exercise 9: Działanie mechanizmu wielogłowicowej uwagi Exercise 10: Samo-uwaga a uwaga wielogłowicowa Exercise 11: Zaawansowane dostrajanie Exercise 12: Trenowanie modelu od początku do końca

Bieżące ćwiczenie

Exercise 13: Trenowanie, dostrajanie i informacja zwrotna Exercise 14: Budowanie modelu LLM

W tym rozdziale przyjrzymy się kluczowym kwestiom, które należy wziąć pod uwagę podczas trenowania LLM – takim jak dostępność dużych zbiorów danych, jakość danych, dokładne etykietowanie oraz konsekwencje wynikające ze stronniczych danych. Przeanalizujesz też różne ryzyka związane z LLM, m.in. prywatność danych, kwestie etyczne i wpływ na środowisko. Na zakończenie omówimy nowe obszary badań oraz ewoluujący krajobraz LLM.

Exercise 1: Obawy i zagadnienia związane z danymi Exercise 2: Czy twój model jest sprawiedliwy?Exercise 3: Bezstronne i trafne dane Exercise 4: Obsługa klienta w banku Exercise 5: Etyczne i środowiskowe aspekty LLM Exercise 6: Odpowiedzialne korzystanie Exercise 7: Etyka i środowisko Exercise 8: Dokąd zmierzają LLM-y?Exercise 9: Kreatywność kontra wydajność Exercise 10: Analiza dzieł literackich Exercise 11: Czas na podsumowanie