Adăugarea token-urilor speciale

Vei învăța acum să adaugi token-urile sos (marchează începutul) și eos (marchează sfârșitul) la propoziții. Așa cum am discutat deja, acest pas este opțional pentru modelul pe care îl ai în prezent, însă va fi necesar pentru un model pe care îl vei implementa într-un capitol ulterior.

Pentru a adăuga aceste token-uri speciale, vei folosi funcția Python string.join(). string.join() unește o listă de șiruri de caractere într-un singur șir, folosind un delimitator. De exemplu, dacă vrei să convertești ['datacamp', 'is', 'awesome'] în 'datacamp is awesome', poți folosi " ".join(['datacamp', 'is', 'awesome']), unde " " (adică spațiul) este delimitatorul.

Pentru acest exercițiu, a fost deja importat un eșantion mic de 10 propoziții în franceză.

Acest exercițiu face parte din cursul

Traducere automată cu Keras

Vezi cursul

Instrucțiuni pentru exercițiu

Parcurge lista de propoziții în franceză (fr_text).
Adaugă un token "sos" pentru a marca începutul și un token "eos" pentru a marca sfârșitul fiecărei propoziții, folosind funcția string.join().
Adaugă propoziția modificată la fr_text_new.
Afișează propoziția modificată sent_new.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Editează și rulează codul