Tłumaczenie języka z użyciem wstępnie wytrenowanego modelu PyTorch

Twój zespół w PyBooks pracuje nad projektem AI, który obejmuje tłumaczenie między językami. Chcecie wykorzystać wstępnie wytrenowane modele do tego zadania – pozwoli to zaoszczędzić dużo czasu i zasobów potrzebnych do trenowania. Celem tego ćwiczenia jest skonfigurowanie modelu tłumaczącego z biblioteki Transformers firmy HuggingFace – konkretnie modelu T5 (Text-To-Text Transfer Transformer) – i użycie go do przetłumaczenia angielskiego zdania na język francuski.

T5Tokenizer i T5ForConditionalGeneration zostały już załadowane.

To ćwiczenie jest częścią kursu

Uczenie głębokie dla tekstu z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Zainicjalizuj tokenizer i model na podstawie wstępnie wytrenowanego modelu "t5-small".
Zakoduj wejściowy prompt za pomocą tokenizera, pamiętając o zwróceniu tensorów PyTorch.
Przetłumacz wejściowy prompt, korzystając z metody generate modelu, i uzyskaj przetłumaczony wynik.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)

Edytuj i uruchom kod