단어 그 이상: 토크나이즈(3)

ft_tokenizer()는 공백을 기준으로 텍스트 데이터를 분할해 단어를 만드는 간단한 기법을 사용합니다. 더 고급 사용을 위해서는 정규 표현식을 사용해 텍스트 데이터를 분할할 수 있습니다. 이는 분할자에 대한 pattern 인자가 추가된 ft_regex_tokenizer() 함수로 수행하며, 사용법은 ft_tokenizer()와 동일합니다.

a_tibble %>%
  ft_regex_tokenizer("x", "y", pattern = regex_pattern)

ft_regex_tokenizer()의 반환값은 ft_tokenizer()와 마찬가지로 문자 벡터의 리스트를 요소로 갖는 리스트입니다.

이 데이터셋에는 MusicBrainz(음악 메타데이터 백과사전 웹사이트)에서의 아티스트 ID가 담긴 artist_mbid라는 필드가 있습니다. 이 ID는 하이픈으로 구분된 16진수 형태이며, 예를 들어 65b785d9-499f-48e6-9063-3a1fd1bd488d와 같습니다.

이 연습은 강의의 일부입니다

R에서 sparklyr로 시작하는 Spark

강의 보기

연습 안내

track_metadata_tbl에서 artist_mbid 필드를 선택하세요.
MusicBrainz ID를 16진수 조각으로 분할하세요.
- ft_regex_tokenizer()를 호출하세요.
- 출력 열 이름은 artist_mbid_chunks로 하세요.
- pattern 인자에는 하이픈 -을 사용하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# track_metadata_tbl has been pre-defined
track_metadata_tbl

track_metadata_tbl %>%
  # Select artist_mbid column
  ___ %>%
  # Split it by hyphens
  ___

코드 편집 및 실행