특수 토큰 추가하기
이제 문장에 sos(시작 표시)와 eos(끝 표시) 토큰을 추가하는 방법을 배워 보겠습니다. 앞서 설명했듯이, 현재 모델에는 이 단계가 선택 사항이지만, 다음 장에서 구현할 모델에는 꼭 필요해요.
이 특수 토큰을 추가하기 위해 Python의 string.join() 함수를 사용할 거예요. string.join()은 구분 기호를 사용해 문자열 목록을 하나의 문자열로 이어 줍니다. 예를 들어, ['datacamp', 'is', 'awesome']을 'datacamp is awesome'으로 바꾸려면 " ".join(['datacamp', 'is', 'awesome'])처럼 사용할 수 있어요. 여기서 " "(공백 문자)가 구분 기호입니다.
이번 연습에서는 프랑스어 문장 10개의 작은 샘플이 이미 가져와져 있어요.
이 연습은 강의의 일부입니다
Keras로 배우는 Machine Translation
연습 안내
- 프랑스어 문장 목록(
fr_text)을 순회하세요. - 각 문장의 시작에는
"sos"토큰을, 끝에는"eos"토큰을string.join()함수를 사용해 추가하세요. - 수정한 문장을
fr_text_new에 추가하세요. - 수정된 문장
sent_new를 출력하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')