Přidávání speciálních tokenů

Teď se naučíš přidávat tokeny sos (označuje začátek) a eos (označuje konec) k větám. Jak už bylo zmíněno, tento krok je pro aktuální model volitelný, ale pro model, který budeš implementovat v pozdější kapitole, bude nezbytný.

K přidání těchto speciálních tokenů použiješ funkci string.join() z Pythonu. string.join() spojí seznam řetězců do jednoho řetězce pomocí oddělovače. Například pokud chceš převést ['datacamp', 'is', 'awesome'] na 'datacamp is awesome', můžeš použít " ".join(['datacamp', 'is', 'awesome']), kde " " (tedy mezera) je oddělovač.

Pro toto cvičení už byl naimportován malý vzorek 10 francouzských vět.

Toto cvičení je součástí kurzu

Machine Translation with Keras

Zobrazit kurz

Pokyny k cvičení

Projdi seznam francouzských vět (fr_text) pomocí cyklu.
Přidej token "sos" pro označení začátku a token "eos" pro označení konce každé věty pomocí funkce string.join().
Přidej upravenou větu do fr_text_new.
Vypiš upravenou větu sent_new.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Upravit a spustit kód