Aggiungere token speciali
Ora imparerai ad aggiungere i token sos (indica l'inizio) ed eos (indica la fine) alle frasi. Come già discusso, questo passaggio è opzionale per il modello che hai ora, ma sarà necessario per un modello che implementerai in un capitolo successivo.
Per aggiungere questi token speciali userai la funzione string.join() di Python. string.join() unisce una lista di stringhe in un'unica stringa usando un delimitatore. Per esempio, se vuoi convertire ['datacamp', 'is', 'awesome'] in 'datacamp is awesome', puoi usare " ".join(['datacamp', 'is', 'awesome']), dove " " (cioè il carattere spazio) è il delimitatore.
Per questo esercizio, è stato già importato un piccolo campione di 10 frasi in francese.
Questo esercizio fa parte del corso
Traduzione automatica con Keras
Istruzioni dell'esercizio
- Fai un ciclo sulla lista di frasi in francese (
fr_text). - Aggiungi un token
"sos"per indicare l'inizio e un token"eos"per indicare la fine di ogni frase usando la funzionestring.join(). - Aggiungi la frase modificata a
fr_text_new. - Stampa la frase modificata
sent_new.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')