Začněte nyníZačněte zdarma

Překlad jazyka pomocí předtrénovaného modelu v PyTorchi

Tvůj tým v PyBooks pracuje na AI projektu zaměřeném na překlad mezi jazyky. Chce využít předtrénované modely, které výrazně šetří čas i prostředky potřebné k trénování. Úkolem tohoto cvičení je nastavit překladový model z knihovny HuggingFace Transformers – konkrétně model T5 (Text-To-Text Transfer Transformer) – a použít ho k překladu anglické fráze do francouzštiny.

T5Tokenizer a T5ForConditionalGeneration jsou už načteny.

Toto cvičení je součástí kurzu

Deep Learning for Text with PyTorch

Zobrazit kurz

Pokyny k cvičení

  • Inicializuj tokenizer a model z předtrénovaného modelu "t5-small".
  • Zakóduj vstupní prompt pomocí tokenizeru a zajisti, aby se vrátily PyTorch tenzory.
  • Přelož vstupní prompt pomocí model a vygeneruj přeložený výstup.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)
Upravit a spustit kód