Тренування, тонке налаштування й зворотний зв'язок

Ви працюєте над проєктом зі створення моделі з використанням техніки підкріплювального навчання на основі людського зворотного зв'язку (RLHF), щоб оптимізувати її роботу в середовищі служби підтримки клієнтів.

Який із наведених варіантів найточніше описує процес RLHF?

Ця вправа є частиною курсу

Концепції Large Language Models (LLMs)

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Концепції Large Language Models (LLMs)

SkillTag.level.beginnerSkillTag.label

4.8+

Почніть курс безкоштовно

Ландшафт ШІ швидко розвивається, і Large Language Models (LLMs) перебувають у центрі цієї еволюції. У цьому розділі розглядається, як LLMs просувають розвиток штучного інтелекту, схожого на людський, і трансформують індустрії завдяки численним застосуванням. Ви дослідите виклики та складність, пов'язані з моделюванням мови.

Exercise 1: Злет LLM у ландшафті ШІ Exercise 2: Визначення LLM Exercise 3: LLM у ландшафті ШІ Exercise 4: Застосунки ШІ проти LLM Exercise 5: Прикладні сценарії у реальному світі Exercise 6: Бізнес-застосунки Exercise 7: Мультимодальні застосунки Exercise 8: Автоматизація задач на основі даних Exercise 9: Виклики мовного моделювання Exercise 10: На що здатна мовна модель?Exercise 11: Одно-завдання проти багато-завдання

Цей розділ підкреслює новизну LLMs і їхні емергентні можливості, а також окреслює різні техніки NLP для підготовки даних. Ви дізнаєтеся про виклики тренування LLMs і про те, як донавчання може ефективно їх розв'язувати. Також ви зрозумієте, як методи N-shot learning дають змогу ефективно адаптувати попередньо натреновані моделі за умов обмеженої розміченості даних.

Exercise 1: Новизна LLMs Exercise 2: Розв'язання задач за допомогою LLM Exercise 3: Традиційні моделі vs LLM Exercise 4: Узагальнений огляд NLP Exercise 5: Підготовка даних Exercise 6: Попередня обробка тексту та подання Exercise 7: Вкладення слів проти bag-of-words Exercise 8: Тонке налаштування (fine-tuning)Exercise 9: Виклики під час створення LLM Exercise 10: Адаптуйте попередньо натреновану модель Exercise 11: Pre-trained чи fine-tuned?Exercise 12: Техніки навчання Exercise 13: Налаштуйте модель (fine-tuning)Exercise 14: N-shot навчання

У цьому розділі ви дізнаєтеся про фундаментальні складові тренування LLM, зокрема про методи попереднього навчання. Ви також інтуїтивно зрозумієте складні поняття на кшталт архітектури трансформера, зокрема механізму attention. Розділ розглядає просунуту техніку донавчання та узагальнює процес тренування для побудови повноцінного LLM.

Exercise 1: Базові складники для навчання LLM Exercise 2: Масковане мовлення Exercise 3: Передбачте наступне слово Exercise 4: Побудова з нуля Exercise 5: Знайомство з трансформером Exercise 6: Зв'язки між віддаленими словами Exercise 7: Компоненти трансформера Exercise 8: Механізми уваги Exercise 9: На чому зосереджується багатоголовна увага Exercise 10: Self vs. multi-head attention Exercise 11: Просунуте донавчання Exercise 12: Навчання від початку до кінця Exercise 13: Тренування, тонке налаштування й зворотний зв'язок

Поточна вправа

Exercise 14: Побудова LLM

У цьому розділі ми заглибимося в ключові аспекти під час тренування LLMs, як-от наявність великих масивів даних, їхня якість, коректна розмітка та наслідки упереджених даних. Ви також розглянете різні ризики LLMs: конфіденційність даних, етичні питання та вплив на довкілля. Насамкінець розділ підсумовує нові напрями досліджень і те, як еволюціонує поле LLMs.

Exercise 1: Питання та міркування щодо даних Exercise 2: Чи є ваша модель справедливою?Exercise 3: Без упереджень і доречно Exercise 4: Служба підтримки банку Exercise 5: Етичні та екологічні питання Exercise 6: Відповідальне використання Exercise 7: Етика та довкілля Exercise 8: Куди рухаються LLM?Exercise 9: Креативність vs ефективність Exercise 10: Аналіз літературних творів Exercise 11: Час підбити підсумки