Trenowanie, dostrajanie i informacja zwrotna

Pracujesz nad projektem, w którym stosujesz technikę uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF), aby zoptymalizować działanie modelu w środowisku obsługi klienta.

Która z poniższych opcji najdokładniej opisuje proces RLHF?

To ćwiczenie jest częścią kursu

Koncepcje dużych modeli językowych (LLM)

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Koncepcje dużych modeli językowych (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Rozpocznij kurs za darmo

Krajobraz sztucznej inteligencji zmienia się w szybkim tempie, a duże modele językowe (LLM) są w centrum tych zmian. Ten rozdział pokazuje, jak LLM przyspieszają rozwój sztucznej inteligencji zdolnej do naśladowania ludzkiego języka i jak przekształcają różne branże dzięki swoim licznym zastosowaniom. Poznasz też wyzwania i złożoność związane z modelowaniem języka.

Exercise 1: Wzrost znaczenia LLM w krajobrazie sztucznej inteligencji Exercise 2: Definicja dużego modelu językowego Exercise 3: Duże modele językowe w krajobrazie SI Exercise 4: AI vs. aplikacje LLM Exercise 5: Zastosowania w praktyce Exercise 6: Zastosowania biznesowe Exercise 7: Zastosowania multimodalne Exercise 8: Automatyzacja zadań opartych na danych Exercise 9: Wyzwania związane z modelowaniem języka Exercise 10: Co potrafi model językowy?Exercise 11: Uczenie jednozdaniowe a wielozadaniowe

Ten rozdział podkreśla nowatorski charakter LLM i ich wyłaniające się możliwości, a także przedstawia różne techniki NLP służące do przygotowania danych. Dowiesz się, jakie wyzwania wiążą się z trenowaniem LLM i jak fine-tuning może skutecznie im sprostać. Zrozumiesz też, jak techniki uczenia N-shot umożliwiają efektywne dostosowywanie wstępnie wytrenowanych modeli w sytuacji, gdy dostępna jest ograniczona ilość oznaczonych danych.

Exercise 1: Nowatorstwo LLM Exercise 2: Rozwiązywanie problemów z pomocą LLM Exercise 3: Tradycyjne modele a LLM-y Exercise 4: Ogólne wprowadzenie do NLP Exercise 5: Przygotowanie danych Exercise 6: Przetwarzanie i reprezentacja tekstu Exercise 7: Osadzenia słów zamiast bag-of-words Exercise 8: Dostrajanie modelu Exercise 9: Wyzwania związane z budowaniem LLM Exercise 10: Dostosowanie wstępnie wytrenowanego modelu Exercise 11: Wstępne trenowanie czy dostrajanie?Exercise 12: Techniki uczenia Exercise 13: Dostrajanie modelu Exercise 14: Uczenie N-shot

W tym rozdziale poznasz podstawowe elementy składowe procesu trenowania LLM, takie jak techniki pre-treningu. Zdobędziesz też intuicyjne zrozumienie złożonych koncepcji, takich jak architektura transformera, w tym mechanizm uwagi. Rozdział omawia zaawansowaną technikę fine-tuningu i podsumowuje cały proces trenowania LLM.

Exercise 1: Elementy składowe trenowania LLM Exercise 2: Maskowanie słów Exercise 3: Przewiduj następne słowo Exercise 4: Budowanie od podstaw Exercise 5: Wprowadzenie do transformera Exercise 6: Relacje między odległymi słowami Exercise 7: Komponenty transformera Exercise 8: Mechanizmy uwagi Exercise 9: Działanie mechanizmu wielogłowicowej uwagi Exercise 10: Samo-uwaga a uwaga wielogłowicowa Exercise 11: Zaawansowane dostrajanie Exercise 12: Trenowanie modelu od początku do końca Exercise 13: Trenowanie, dostrajanie i informacja zwrotna

Bieżące ćwiczenie

Exercise 14: Budowanie modelu LLM

W tym rozdziale przyjrzymy się kluczowym kwestiom, które należy wziąć pod uwagę podczas trenowania LLM – takim jak dostępność dużych zbiorów danych, jakość danych, dokładne etykietowanie oraz konsekwencje wynikające ze stronniczych danych. Przeanalizujesz też różne ryzyka związane z LLM, m.in. prywatność danych, kwestie etyczne i wpływ na środowisko. Na zakończenie omówimy nowe obszary badań oraz ewoluujący krajobraz LLM.

Exercise 1: Obawy i zagadnienia związane z danymi Exercise 2: Czy twój model jest sprawiedliwy?Exercise 3: Bezstronne i trafne dane Exercise 4: Obsługa klienta w banku Exercise 5: Etyczne i środowiskowe aspekty LLM Exercise 6: Odpowiedzialne korzystanie Exercise 7: Etyka i środowisko Exercise 8: Dokąd zmierzają LLM-y?Exercise 9: Kreatywność kontra wydajność Exercise 10: Analiza dzieł literackich Exercise 11: Czas na podsumowanie