添加特殊标记
现在,您将学习为句子添加 sos(表示开始)和 eos(表示结束)标记。正如前面所讨论的,对于您当前的模型,这一步是可选的,但在后续章节中实现的模型将需要它们。
要添加这些特殊标记,您将使用 Python 的 string.join() 函数。string.join() 会使用一个分隔符将字符串列表连接为一个字符串。例如,如果您想把 ['datacamp', 'is', 'awesome'] 转换为 'datacamp is awesome',可以使用 " ".join(['datacamp', 'is', 'awesome']),其中 " "(即空格字符)就是分隔符。
在本练习中,已为您导入了 10 条法语句子的一个小样本。
本练习是课程的一部分
使用 Keras 的机器翻译
练习说明
- 遍历法语句子列表(
fr_text)。 - 使用
string.join()函数为每个句子添加表示开头的"sos"标记和表示结尾的"eos"标记。 - 将修改后的句子追加到
fr_text_new。 - 打印修改后的句子
sent_new。
交互式实操练习
通过完成这段示例代码来试试这个练习。
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')