1. Belajar
    2. /
  2. Kursus
    3. /
  3. PyTorch로 배우는 텍스트 딥러닝
Connected

Latihan

텍스트 전처리

추천 시스템을 비롯한 어떤 모델이든 구축하려면 먼저 텍스트를 전처리해야 해요.

여기에 셜록 홈즈의 한 단락이 로드되어 있어요. 영상에서 소개한 다양한 기법을 사용해 이 텍스트를 전처리하고, 이후 분석을 위한 형태로 준비해 보세요.

text 변수에는 Arthur Conan Doyle의 The Hound of the Baskervilles 일부가 들어 있어요.

다음 패키지와 함수가 미리 로드되어 있어요: nltk, torch, get_tokenizer, PorterStemmer, stopwords.

Instruksi 1/3

undefined XP
    1
    2
    3
  • "basic_english"로 토크나이저를 초기화하세요.
  • 토크나이저를 사용해 text를 토크나이즈하세요.