Adicionando tokens especiais

Agora você vai aprender a adicionar os tokens sos (marca o início) e eos (marca o fim) às frases. Como já discutido, esta etapa é opcional para o modelo que você tem agora, mas será necessária para um modelo que você vai implementar em um capítulo posterior.

Para adicionar esses tokens especiais, você usará a função string.join() do Python. string.join() junta uma lista de strings em uma única string usando um delimitador. Por exemplo, se você quiser converter ['datacamp', 'is', 'awesome'] em 'datacamp is awesome', você pode usar " ".join(['datacamp', 'is', 'awesome']), em que " " (isto é, o caractere de espaço) é o delimitador.

Para este exercício, uma pequena amostra com 10 frases em francês já foi importada.

Este exercício faz parte do curso

Machine Translation with Keras

Ver curso

Instruções do exercício

Faça um loop pela lista de frases em francês (fr_text).
Adicione um token "sos" para indicar o início e um token "eos" para indicar o fim de cada frase usando a função string.join().
Adicione a frase modificada a fr_text_new.
Imprima a frase modificada sent_new.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

fr_text_new = []

# Loop through all sentences in fr_text
for sent in ____:
  
  print("Before adding tokens: ", sent)
  
  # Add sos and eos tokens using string.join
  sent_new = " ".____([____, sent, ____])
  # Append the modified sentence to fr_text_new
  ____.____(____)
  
  # Print sentence after adding tokens
  print("After adding tokens: ", ____, '\n')

Editar e executar o código