1. Nauka
    2. /
  2. Kursy
    3. /
  3. Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras
Connected

ćwiczenie

Przekształcanie nowego tekstu

W tym ćwiczeniu przekształcisz nowy tekst w sekwencje indeksów liczbowych na podstawie wcześniej utworzonych słowników.

To przydatne, gdy masz już wytrenowany model i chcesz zastosować go na nowym zbiorze danych. Kroki przetwarzania wstępnego wykonane na danych treningowych powinny być również zastosowane do nowego tekstu, aby model mógł dokonywać predykcji i klasyfikacji.

W tym ćwiczeniu użyjesz też specjalnego tokenu '<UKN/>' do reprezentowania słów spoza słownictwa modelu. Zazwyczaj takie specjalne tokeny zajmują pierwsze indeksy słowników, czyli pozycję 0.

Zmienne word_to_index, index_to_word oraz vocabulary są już załadowane w środowisku. Załadowana jest również zmienna z nowym tekstem – new_text. Nowy tekst został wyświetlony, abyś mógł się z nim zapoznać.

Instrukcje

100 XP
  • Przejdź w pętli przez listę new_text zawierającą zdania.
  • Ustaw indeks na 0, jeśli dane słowo nie zostanie znalezione w słowniku.
  • Dołącz zdanie z indeksami do zmiennej new_text_split.
  • Przekształć indeksy z powrotem na tekst, korzystając ze słownika index_to_word.