ПочатиПочніть безкоштовно

Переклад мов із попередньо натренованою моделлю PyTorch

Ваша команда в PyBooks працює над проєктом ШІ, що передбачає переклад з однієї мови на іншу. Вони хочуть використати попередньо натреновані моделі для цього завдання, адже це заощаджує багато часу й ресурсів на навчання. У цій вправі потрібно налаштувати модель перекладу з бібліотеки HuggingFace Transformers, зокрема модель T5 (Text-To-Text Transfer Transformer), і використати її для перекладу англійської фрази французькою.

T5Tokenizer, T5ForConditionalGeneration уже завантажено для вас.

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Інструкції до вправи

  • Ініціалізуйте tokenizer і model з попередньо натренованої моделі "t5-small".
  • Закодуйте вхідний запит за допомогою токенайзера, переконайтеся, що повертаються тензори PyTorch.
  • Перекладіть вхідний запит за допомогою model і згенеруйте перекладений результат.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)
Редагувати та запускати код