Transformace nového textu

V tomto cvičení převedeš nový text na sekvence číselných indexů pomocí slovníků, které jsi vytvořil/a dříve.

To se hodí ve chvíli, kdy už máš natrénovaný model a chceš ho použít na nové datové sadě. Kroky předzpracování provedené na trénovacích datech je nutné aplikovat i na nový text, aby model mohl provádět predikce nebo klasifikaci.

Použiješ také speciální token '<UKN/>', který zastupuje slova, jež nejsou ve slovníku. Tyto speciální tokeny mívají zpravidla první indexy ve slovnících, tedy pozici 0.

Proměnné word_to_index, index_to_word a vocabulary jsou v prostředí již načteny. Stejně tak je načtena proměnná s novým textem jako new_text. Nový text je pro přehled rovnou vypsán.

Projdi seznam new_text obsahující věty.
Nastav index na 0 pro případ, že slovo není ve slovníku nalezeno.
Přidej větu s indexy do proměnné new_text_split.
Převeď indexy zpět na text pomocí slovníku index_to_word.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení