Дообучение модели

Вы входите в команду, работающую над инновационным проектом. Цель — адаптировать предобученную языковую модель к новой, смежной задаче при ограниченном объёме данных. Для успеха проекта вам нужно найти способ адаптировать и дообучить модель.

Какой общий подход позволяет использовать знания, полученные при решении одной задачи, для обучения модели на новой, смежной задаче?

Это упражнение является частью курса

Концепции больших языковых моделей (LLM)

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Концепции больших языковых моделей (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Начать курс бесплатно

Искусственный интеллект развивается стремительно, и большие языковые модели (LLM) находятся в авангарде этих изменений. В данной главе рассматривается, как LLM продвигают создание человекоподобного ИИ и преобразуют различные отрасли благодаря широкому спектру применений. Вы изучите трудности и сложности, связанные с языковым моделированием.

Exercise 1: Развитие больших языковых моделей в сфере ИИ Exercise 2: Определение большой языковой модели Exercise 3: Большие языковые модели в ландшафте ИИ Exercise 4: ИИ vs. приложения на основе больших языковых моделей Exercise 5: Реальные примеры применения Exercise 6: Бизнес-приложения Exercise 7: Мультимодальные приложения Exercise 8: Автоматизация задач на основе данных Exercise 9: Трудности языкового моделирования Exercise 10: Что умеет языковая модель?Exercise 11: Обучение на одну задачу и многозадачное обучение

В этой главе особое внимание уделяется новизне LLM и их эмерджентным возможностям, а также описываются различные техники обработки естественного языка (NLP) для подготовки данных. Вы узнаете, с какими трудностями сопряжено обучение LLM и как дообучение помогает их преодолеть. Кроме того, вы поймёте, как техники N-shot обучения позволяют эффективно адаптировать предобученные модели при ограниченном количестве размеченных данных.

Exercise 1: Новизна больших языковых моделей Exercise 2: Решение задач с помощью LLM Exercise 3: Традиционные модели и большие языковые модели Exercise 4: Обобщённый обзор NLP Exercise 5: Подготовка данных Exercise 6: Предобработка и представление текста Exercise 7: Векторные представления слов против метода «мешка слов»Exercise 8: Тонкая настройка Exercise 9: Проблемы создания больших языковых моделей Exercise 10: Адаптация предварительно обученной модели Exercise 11: Предобучение или дообучение?Exercise 12: Техники обучения Exercise 13: Дообучение модели

Текущее упражнение

Exercise 14: N-shot обучение

В этой главе вы познакомитесь с фундаментальными составляющими обучения LLM, в том числе с техниками предобучения. Вы также получите наглядное представление о сложных концепциях — таких как архитектура трансформера и механизм внимания. В главе обсуждается продвинутая техника дообучения и подводится итог всему процессу создания LLM.

Exercise 1: Основы обучения больших языковых моделей Exercise 2: Маскировка языковых токенов Exercise 3: Предскажите следующее слово Exercise 4: Обучение с нуля Exercise 5: Знакомство с трансформером Exercise 6: Связи между удалёнными словами Exercise 7: Компоненты трансформера Exercise 8: Механизмы внимания Exercise 9: Фокус механизма многоголового внимания Exercise 10: Самовнимание и многоголовое внимание Exercise 11: Продвинутая дообучение Exercise 12: Обучение от начала до конца Exercise 13: Обучение, настройка и обратная связь Exercise 14: Создание LLM

В этой главе мы подробно рассмотрим ключевые аспекты обучения LLM: доступность больших объёмов данных, их качество, точность разметки и последствия использования предвзятых данных. Вы также изучите различные риски, связанные с LLM, — конфиденциальность данных, этические вопросы и экологическое воздействие. В завершение глава охватывает актуальные направления исследований и обсуждает, как меняется ландшафт больших языковых моделей.

Exercise 1: Проблемы и соображения, связанные с данными Exercise 2: Насколько справедлива ваша модель?Exercise 3: Объективность и актуальность данных Exercise 4: Клиентское обслуживание в банке Exercise 5: Этические и экологические проблемы Exercise 6: Ответственное использование Exercise 7: Этика и экология Exercise 8: Куда движутся большие языковые модели?Exercise 9: Креативность и эффективность Exercise 10: Анализ литературных произведений Exercise 11: Подведём итоги