Начните знакомство с большими языковыми моделями (LLM): узнайте, что они собой представляют, какие задачи решают, и загляните под капот, чтобы понять принципы их работы.

Введение в большие языковые модели (LLM)

Использование пайплайна для суммаризации

Очистка ответов

Использование предобученных LLM

Генерация текста

Перевод текста

Знакомство с трансформером

Определите архитектуру трансформера

Выбор подходящей архитектуры модели

Знакомство с большими языковыми моделями (LLM)

Узнайте, как использовать предобученные LLM и наборы данных из Hugging Face для дообучения модели.

Подготовка к дообучению

Токенизация текста

Применение токенизации

Дообучение через обучение

Настройка аргументов обучения

Настройка объекта Trainer

Использование дообученной модели

Подходы к тонкой настройке

Трансферное обучение с однократным примером

Подходы к трансферному обучению

Дообучение LLM

Изучите различные метрики для оценки качества модели и познакомьтесь с проблемами, возникающими при применении LLM в реальных задачах.

Библиотека evaluate

Загрузка метрик с помощью evaluate

Описание метрик

Применение метрик из библиотеки evaluate

Метрики для языковых задач: перплексия и BLEU

Оценка перплексии

Метрика BLEU для перевода

Метрики для языковых задач: ROUGE, METEOR, EM

Оценка с помощью ROUGE

Оценка с помощью METEOR

Оценка с помощью EM

Защита LLM

Проверка токсичности

Оценка regard

Финишная прямая

Оценка качества LLM

Course Glossary Introduction to LLMs in Python

Большие языковые модели (LLM) стали ключевыми инструментами, обеспечивающими наиболее впечатляющие достижения в современном ИИ. Этот практический курс даст вам знания и навыки, необходимые для понимания, создания и применения LLM при решении сложных языковых задач: перевода, генерации текста, ответов на вопросы и многого другого. Выполняя интерактивные упражнения по программированию, вы научитесь работать с трансформерами, а также изучите предобученные языковые модели и наборы данных из Hugging Face. К концу курса вы сможете дообучать и оценивать предобученные LLM с помощью специализированных метрик. Кроме того, вы познакомитесь с ключевыми проблемами и этическими аспектами применения LLM в реальных задачах.

Видеоуроки содержат субтитры — их можно открыть, нажав «Show transcript» в нижнем левом углу видеоплеера.
Глоссарий курса находится в разделе ресурсов справа.
Чтобы получить зачётные часы CPE, необходимо завершить курс и набрать не менее 70% на квалификационном тесте. Перейти к тесту можно, нажав на соответствующую ссылку CPE credits в правой части экрана.

<h2>Узнайте, что стоит за ажиотажем вокруг больших языковых моделей</h2>
<br><br>
Большие языковые модели (LLM) стали ключевыми инструментами, которые лежат в основе некоторых из самых впечатляющих достижений и приложений в современном ландшафте ИИ. Этот практический курс даст вам необходимые знания и навыки, чтобы понимать, создавать и использовать возможности LLM для решения сложных языковых задач, таких как перевод, генерация текста и многое другое.
<br><br>
<h2>Откройте для себя архитектуру LLM и используйте предварительно обученные модели</h2>
<br><br>
С помощью интерактивных упражнений по программированию вы познакомитесь с различными архитектурами трансформеров и научитесь их распознавать. Вы изучите, как использовать предварительно обученные языковые модели и наборы данных из Hugging Face для дообучения и оценки вашей модели с помощью продвинутых метрик, подходящих для LLM. Наконец, вы узнаете больше об этических вопросах и проблемах предвзятости, связанных с LLM, а также о способах их выявления. К концу этого курса вы сможете создавать LLM, дообучать и оценивать их с помощью специализированных метрик, а также понимать ключевые вызовы и этические аспекты внедрения LLM-приложений в реальных условиях.

Working with Hugging Face

Изучите основы LLM и революционную архитектуру трансформеров!

Введение в LLM на Python

Изучите основы LLM и революционную архитектуру transformer, на которой они основаны!

Ассоциированный AI-инженер для специалистов по данным

Разработка больших языковых моделей

Основы Hugging Face

Основы Snowflake AI

Senior Data Science Content Developer, DataCamp

Проблемы LLM

Правдивость и галлюцинации

Метрики анализа предвзятости LLM: токсичность

Метрики анализа предвзятости LLM: regard

Давайте потренируемся!

Оценка качества LLM - Защита LLM

Защита LLM

Create Your Free Account