Tłumaczenie z portugalskiego na angielski

To ostatnie ćwiczenie w kursie – gratulacje, że dotarłeś aż tutaj!

Dowiesz się, jak używać modeli NMT do wykonywania tłumaczeń.

Model, który koduje krótkie frazy z języka portugalskiego i dekoduje je na krótkie frazy w języku angielskim, został wstępnie wytrenowany i jest wczytany do zmiennej model.

Funkcja predict_one() jest już wczytana – użyj help(), aby poznać szczegóły. Zbiór danych jest dostępny w zmiennych test (surowy tekst) i X_test (po tokenizacji).

Zdefiniujesz funkcję do tłumaczenia listy zdań. W parametrach: sentences to lista fraz do przetłumaczenia, index_to_word to słownik dict zawierający indeksy numeryczne jako klucze i słowa jako wartości dla języka angielskiego, wczytany do zmiennej en_index_to_word.

Podsumowanie modelu zostało wydrukowane dla twojej wygody.

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Instrukcje do ćwiczenia

Wykonaj pętlę po iteratorze z indeksami fraz.
Użyj wczytanej funkcji predict_one(), aby przetłumaczyć jedną frazę.
Wydrukuj wynik tłumaczenia.
Wywołaj zdefiniowaną funkcję, aby przetłumaczyć pierwsze 10 fraz ze zmiennej X_test.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Function to predict many phrases
def predict_many(model, sentences, index_to_word, raw_dataset):
    for i, sentence in ____(sentences):
        # Translate the Portuguese sentence
        translation = ____(model, sentence, index_to_word)
        
        # Get the raw Portuguese and English sentences
        raw_target, raw_src = raw_dataset[i]
        
        # Print the correct Portuguese and English sentences and the predicted
        print('src=[%s], target=[%s], predicted=[%s]' % (raw_src, raw_target, ____))

____(model, X_test[____], en_index_to_word, test)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy rekurencyjnych sieci neuronowych (RNN). Zaczniesz od niezbędnych wiadomości wstępnych, przejdziesz do zrozumienia przepływu informacji w sieci, a na koniec zobaczysz, jak implementować takie modele w Keras – na przykładzie zadania klasyfikacji sentymentu.

Exercise 1: Wprowadzenie do kursu Exercise 2: Porównanie liczby parametrów sieci RNN i ANN Exercise 3: Analiza sentymentu Exercise 4: Modele sekwencja-do-sekwencji Exercise 5: Wprowadzenie do modeli językowych Exercise 6: Praca z danymi tekstowymi Exercise 7: Przygotowanie danych tekstowych jako wejścia do modelu Exercise 8: Przekształcanie nowego tekstu Exercise 9: Wprowadzenie do RNN w Keras Exercise 10: Modele Keras Exercise 11: Przetwarzanie wstępne w Keras Exercise 12: Twój pierwszy model RNN

Dowiesz się o problemach zanikającego i eksplodującego gradientu, które często pojawiają się w RNN, oraz o tym, jak sobie z nimi radzić za pomocą komórek GRU i LSTM. Poza tym stworzysz warstwy embeddingów dla modeli językowych i powrócisz do zadania klasyfikacji sentymentu.

Exercise 1: Zanikające i eksplodujące gradienty Exercise 2: Problem eksplodujących gradientów Exercise 3: Problem zanikających gradientów Exercise 4: Komórki GRU i LSTM Exercise 5: Komórki GRU są lepsze niż SimpleRNN Exercise 6: Układanie warstw RNN w stos Exercise 7: Warstwa osadzeń (Embedding)Exercise 8: Porównanie liczby parametrów Exercise 9: Transfer learning Exercise 10: Osadzenia poprawiają wyniki Exercise 11: Powrót do klasyfikacji sentymentu Exercise 12: Lepsza klasyfikacja sentymentu Exercise 13: Korzystanie z warstwy CNN

W tym rozdziale nauczysz się przygotowywać dane do zadania klasyfikacji wieloklasowej, a także poznasz różnice między klasyfikacją wieloklasową a binarną (analiza sentymentu). Na koniec zobaczysz, jak tworzyć modele i oceniać ich wydajność w Keras.

Exercise 1: Przetwarzanie wstępne danych Exercise 2: Przygotowanie wektorów etykiet Exercise 3: Przetwarzanie danych Exercise 4: Transfer learning w modelach językowych Exercise 5: Transfer learning jako punkt wyjścia Exercise 6: Word2Vec Exercise 7: Modele klasyfikacji wieloklasowej Exercise 8: Eksploracja zbioru danych 20 News Groups Exercise 9: Klasyfikacja artykułów prasowych Exercise 10: Ocena wydajności modelu Exercise 11: Kompromis między precyzją a czułością Exercise 12: Precyzja czy czułość – oto jest pytanie Exercise 13: Wydajność w klasyfikacji wieloklasowej

Ten rozdział przedstawia dwa zastosowania modeli RNN: generowanie tekstu i neuronowe tłumaczenie maszynowe. Dowiesz się, jak przygotować dane tekstowe w formacie wymaganym przez modele. Model generowania tekstu posłuży do naśladowania stylu wypowiedzi postaci z serialu – Sheldona z Teorii wielkiego podrywu. Neuronowe tłumaczenie maszynowe jest stosowane m.in. przez Google Translate w znacznie bardziej rozbudowanych modelach. W tym rozdziale stworzysz model tłumaczący krótkie frazy z portugalskiego na angielski.

Exercise 1: Modele sekwencja-do-sekwencji Exercise 2: Przykłady generowania tekstu Exercise 3: Przykład NMT Exercise 4: Funkcja generowania tekstu Exercise 5: Przewidywanie następnego znaku Exercise 6: Generowanie zdania z kontekstem Exercise 7: Zmień skalę prawdopodobieństwa Exercise 8: Modele generowania tekstu Exercise 9: Tworzenie wektorów zdań i kolejnych znaków Exercise 10: Przygotowanie danych do trenowania Exercise 11: Tworzenie modelu generowania tekstu Exercise 12: Neuronowe tłumaczenie maszynowe Exercise 13: Przygotowanie tekstu wejściowego Exercise 14: Przygotowanie tekstu wyjściowego Exercise 15: Tłumaczenie z portugalskiego na angielski

Bieżące ćwiczenie

Exercise 16: Gratulacje!