Adicionando tokens especiais
Agora você vai aprender a adicionar os tokens “ sos ” (marca o início) e “ eos ” (marca o fim) às frases. Como já falamos, essa etapa é opcional pro modelo que você tem agora, mas vai ser necessária pra um modelo que você vai implementar num capítulo mais adiante.
Para adicionar esses tokens especiais, você vai usar a função Python string.join(). string.join() junta uma lista de strings em uma única string usando um delimitador. Por exemplo, se você quiser converter ['datacamp', 'is', 'awesome'] para 'datacamp is awesome', você pode usar " ".join(['datacamp', 'is', 'awesome']), onde o " " (ou seja, o espaço) é o delimitador.
Para este exercício, já foi importada uma pequena amostra de 10 frases em francês.
Este exercício faz parte do curso
Tradução automática com Keras
Instruções do exercício
- Passa pela lista de frases em francês (
fr_text). - Adicione um token “
"sos"” para indicar o início e um token “"eos"” para indicar o fim de cada frase usando a função “string.join()”. - Adicione a frase modificada a
fr_text_new. - Imprima a frase modificada
sent_new.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')