Añadir fichas especiales
Ahora aprenderás a añadir los tokens « sos » (marca el inicio) y « eos » (marca el final) a las oraciones. Como ya se ha comentado, este paso es opcional para el modelo que tienes ahora, pero será necesario para un modelo que implementarás en un capítulo posterior.
Para añadir estos tokens especiales, utilizarás la función Python string.join(). string.join() une una lista de cadenas a una sola cadena utilizando un delimitador. Por ejemplo, si deseas convertir ['datacamp', 'is', 'awesome'] en 'datacamp is awesome', puedes utilizar " ".join(['datacamp', 'is', 'awesome']), donde " " (es decir, el carácter de espacio) es el delimitador.
Para este ejercicio, ya se ha importado una pequeña muestra de 10 frases en francés.
Este ejercicio forma parte del curso
Traducción automática con Keras
Instrucciones del ejercicio
- Recorre la lista de frases en francés (
fr_text). - Añade un token «
"sos"» para indicar el comienzo y un token «"eos"» para indicar el final de cada frase utilizando la función «string.join()». - Añade la frase modificada a
fr_text_new. - Imprime la frase modificada
sent_new.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')