Lägga till specialtokens

Nu ska du lära dig att lägga till tokenerna sos (markerar början) och eos (markerar slutet) i meningarna. Som redan nämnts är det här steget valfritt för den modell du har just nu, men det kommer att krävas för en modell som du implementerar i ett senare kapitel.

För att lägga till dessa specialtokens använder du Pythons funktion string.join(). string.join() sammanfogar en lista med strängar till en enda sträng med hjälp av en avgränsare. Om du till exempel vill konvertera ['datacamp', 'is', 'awesome'] till 'datacamp is awesome' kan du använda " ".join(['datacamp', 'is', 'awesome']), där " " (alltså ett blanksteg) är avgränsaren.

I den här övningen har ett litet urval på 10 franska meningar redan importerats.

Den här övningen är en del av kursen

Maskinöversättning med Keras

Visa kurs

Övningsinstruktioner

Loopa igenom listan med franska meningar (fr_text).
Lägg till en "sos"-token för att markera början och en "eos"-token för att markera slutet på varje mening med hjälp av funktionen string.join().
Lägg till den modifierade meningen i fr_text_new.
Skriv ut den modifierade meningen sent_new.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Redigera och kör kod