Обучение, настройка и обратная связь

Вы работаете над проектом по разработке модели с использованием метода обучения с подкреплением на основе обратной связи от людей (RLHF) — с целью оптимизации её работы в среде поддержки клиентов.

Какой из вариантов наиболее точно описывает процесс RLHF?

Это упражнение является частью курса

Концепции больших языковых моделей (LLM)

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Концепции больших языковых моделей (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Начать курс бесплатно

Искусственный интеллект развивается стремительно, и большие языковые модели (LLM) находятся в авангарде этих изменений. В данной главе рассматривается, как LLM продвигают создание человекоподобного ИИ и преобразуют различные отрасли благодаря широкому спектру применений. Вы изучите трудности и сложности, связанные с языковым моделированием.

Exercise 1: Развитие больших языковых моделей в сфере ИИ Exercise 2: Определение большой языковой модели Exercise 3: Большие языковые модели в ландшафте ИИ Exercise 4: ИИ vs. приложения на основе больших языковых моделей Exercise 5: Реальные примеры применения Exercise 6: Бизнес-приложения Exercise 7: Мультимодальные приложения Exercise 8: Автоматизация задач на основе данных Exercise 9: Трудности языкового моделирования Exercise 10: Что умеет языковая модель?Exercise 11: Обучение на одну задачу и многозадачное обучение

В этой главе особое внимание уделяется новизне LLM и их эмерджентным возможностям, а также описываются различные техники обработки естественного языка (NLP) для подготовки данных. Вы узнаете, с какими трудностями сопряжено обучение LLM и как дообучение помогает их преодолеть. Кроме того, вы поймёте, как техники N-shot обучения позволяют эффективно адаптировать предобученные модели при ограниченном количестве размеченных данных.

Exercise 1: Новизна больших языковых моделей Exercise 2: Решение задач с помощью LLM Exercise 3: Традиционные модели и большие языковые модели Exercise 4: Обобщённый обзор NLP Exercise 5: Подготовка данных Exercise 6: Предобработка и представление текста Exercise 7: Векторные представления слов против метода «мешка слов»Exercise 8: Тонкая настройка Exercise 9: Проблемы создания больших языковых моделей Exercise 10: Адаптация предварительно обученной модели Exercise 11: Предобучение или дообучение?Exercise 12: Техники обучения Exercise 13: Дообучение модели Exercise 14: N-shot обучение

В этой главе вы познакомитесь с фундаментальными составляющими обучения LLM, в том числе с техниками предобучения. Вы также получите наглядное представление о сложных концепциях — таких как архитектура трансформера и механизм внимания. В главе обсуждается продвинутая техника дообучения и подводится итог всему процессу создания LLM.

Exercise 1: Основы обучения больших языковых моделей Exercise 2: Маскировка языковых токенов Exercise 3: Предскажите следующее слово Exercise 4: Обучение с нуля Exercise 5: Знакомство с трансформером Exercise 6: Связи между удалёнными словами Exercise 7: Компоненты трансформера Exercise 8: Механизмы внимания Exercise 9: Фокус механизма многоголового внимания Exercise 10: Самовнимание и многоголовое внимание Exercise 11: Продвинутая дообучение Exercise 12: Обучение от начала до конца Exercise 13: Обучение, настройка и обратная связь

Текущее упражнение

Exercise 14: Создание LLM

В этой главе мы подробно рассмотрим ключевые аспекты обучения LLM: доступность больших объёмов данных, их качество, точность разметки и последствия использования предвзятых данных. Вы также изучите различные риски, связанные с LLM, — конфиденциальность данных, этические вопросы и экологическое воздействие. В завершение глава охватывает актуальные направления исследований и обсуждает, как меняется ландшафт больших языковых моделей.

Exercise 1: Проблемы и соображения, связанные с данными Exercise 2: Насколько справедлива ваша модель?Exercise 3: Объективность и актуальность данных Exercise 4: Клиентское обслуживание в банке Exercise 5: Этические и экологические проблемы Exercise 6: Ответственное использование Exercise 7: Этика и экология Exercise 8: Куда движутся большие языковые модели?Exercise 9: Креативность и эффективность Exercise 10: Анализ литературных произведений Exercise 11: Подведём итоги