토큰화: 문장
Animal Farm은 중학교 영어 수업에서 자주 배정되는 인기 도서입니다. 이 텍스트를 탐색해 보고, 교사들이 학생들에게 이 책을 배정할 때 활용할 수 있는 요약 통계를 제공하려고 합니다. 장(챕터)이 10개라는 것은 이미 알고 있지만, 토큰화를 사용하면 문장, 단어, 심지어 문단의 개수도 셀 수 있다는 것도 알고 있죠. 이번 연습에서는 영상에서 배운 토큰화 기법을 사용해 Animal Farm을 문장 단위로 분할하고, 장별로 문장 수를 세어 보겠습니다.
이 연습은 강의의 일부입니다
R로 배우는 자연어 처리 입문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Split the text_column into sentences
animal_farm %>%
___(output = "sentences", input = text_column, token = ___)