Thêm token đặc biệt
Bây giờ bạn sẽ học cách thêm các token sos (đánh dấu bắt đầu) và eos (đánh dấu kết thúc) vào câu. Như đã đề cập, bước này là tùy chọn với mô hình hiện tại, nhưng sẽ cần thiết cho mô hình bạn sẽ triển khai ở chương sau.
Để thêm các token đặc biệt này, bạn sẽ dùng hàm string.join() trong Python. string.join() nối một danh sách chuỗi thành một chuỗi duy nhất bằng một ký tự phân tách (delimiter). Ví dụ, nếu bạn muốn chuyển ['datacamp', 'is', 'awesome'] thành 'datacamp is awesome', bạn có thể dùng " ".join(['datacamp', 'is', 'awesome']), trong đó " " (tức là ký tự khoảng trắng) là delimiter.
Trong bài này, một mẫu nhỏ gồm 10 câu tiếng Pháp đã được nhập sẵn.
Bài tập này là một phần của khóa học
Machine Translation với Keras
Hướng dẫn bài tập
- Lặp qua danh sách các câu tiếng Pháp (
fr_text). - Thêm token
"sos"để đánh dấu bắt đầu và token"eos"để đánh dấu kết thúc cho mỗi câu bằng hàmstring.join(). - Thêm câu đã chỉnh sửa vào
fr_text_new. - In ra câu đã chỉnh sửa
sent_new.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')