GoT 문자열 토큰화하기
텍스트를 다룰 때 가장 먼저 하는 표준 단계는 토큰화입니다. 즉, 더 큰 문자열을 보통 단어(토큰) 단위의 개별 문자열로 나누는 것입니다.
문자열 GoT가 미리 생성되어 있으며, George R.R. Martin의 Game of Thrones 인용문이 들어 있습니다. 이 문자열을 개별 토큰으로 분리하세요.
이 연습은 강의의 일부입니다
Python으로 배우는 Sentiment Analysis
연습 안내
nltk에서 단어 토큰화 함수를 가져오세요.GoT문자열을 단어 토큰으로 변환하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import the required function
from nltk import ____
# Transform the GoT string to word tokens
print(____(____))