1. Nauka
    2. /
  2. Kursy
    3. /
  3. Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras
Connected

ćwiczenie

Przygotowanie tekstu wyjściowego

W tym ćwiczeniu przygotujesz teksty wyjściowe do użycia w modelu tłumaczenia. Oprócz przekształcenia tekstu na sekwencje indeksów, musisz także zakodować każdy indeks metodą one-hot.

Teksty angielskie są załadowane do zmiennej en_sentences, dopasowany tokenizer do zmiennej output_tokenizer, a rozmiar słownika angielskiego do zmiennej en_vocab_size.

Funkcja wykonująca pierwsze kroki przekształcania języka wyjściowego (zamiana tekstów na sekwencje indeksów) jest już gotowa. Funkcja jest załadowana do środowiska jako transform_text_to_sequences() i przyjmuje dwa parametry: sentences, który oczekuje listy zdań w języku angielskim, oraz tokenizer, który oczekuje dopasowanego obiektu Tokenizer z modułu keras.preprocessing.text.

numpy jest załadowany jako np.

Instrukcje

100 XP
  • Przekaż zmienne en_sentences i output_tokenizer do funkcji transform_text_to_sequences(), aby zainicjalizować zmienną Y.
  • Użyj funkcji to_categorical(), aby zakodować zdania metodą one-hot. Jako liczbę klas podaj zmienną en_vocab_size.
  • Przekształć tymczasową listę na tablicę numpy i zmień jej kształt na (num_sentences, sentences_len, en_vocab_size).
  • Wyświetl surowy tekst oraz jego przekształconą wersję.