Использование AutoClasses

Вы уже познакомились с тем, как работают токенизаторы, и изучили их роль в подготовке текста для моделей. Теперь сделаем шаг вперёд: объединим AutoModels и AutoTokenizers с функцией pipeline(). Это удачное сочетание гибкости и удобства.

Продолжим решать задачу анализа тональности — на этот раз с использованием AutoClasses совместно с модулем pipeline.

AutoModelForSequenceClassification, AutoTokenizer и pipeline из библиотеки transformers уже импортированы.

Это упражнение является частью курса

Работа с Hugging Face

Посмотреть курс

Инструкции к упражнению

Загрузите модель и токенизатор и сохраните их в переменные my_model и my_tokenizer соответственно.
Создайте конвейер и сохраните его в переменную my_pipeline.
Получите предсказание с помощью my_pipeline и сохраните результат в переменную output.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Download the model and tokenizer
my_model = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
my_tokenizer = ____.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

# Create the pipeline
my_pipeline = pipeline(task="sentiment-analysis", ____=____, ____=____)

# Predict the sentiment
output = ____("This course is pretty good, I guess.")
print(f"Sentiment using AutoClasses: {output[0]['label']}")

Редактировать и запускать код