spaCy로 토큰화하기
이 연습 문제에서는 텍스트를 토큰화해 보겠습니다. Amazon Fine Food Reviews 데이터셋의 첫 번째 리뷰를 사용합니다. 제공된 text 객체로 이 리뷰에 접근할 수 있어요.
en_core_web_sm 모델은 이미 로드되어 있으며, nlp()를 호출해 사용할 수 있습니다. 결과 리스트는 리스트 컴프리헨션으로 만들어 보세요.
이 연습은 강의의 일부입니다
spaCy로 배우는 자연어 처리
연습 안내
- 미리 로드된 리뷰를
document객체에 Doc 컨테이너로 저장하세요. document의 모든 토큰 텍스트를 모아first_text_tokens변수에 저장하고 확인해 보세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a Doc container of the given text
document = ____(____)
# Store and review the token text values of tokens for the Doc container
first_text_tokens = [____ for ____ in ____]
print("First text tokens:\n", first_text_tokens, "\n")