표제어 추출(Lemmatization)
사용자 리뷰를 계속 분석하던 중, stemming이 때때로 "flying"에서 "fli"처럼 표준이 아닌 단어를 만들어 해석 가능성을 떨어뜨린다는 점을 발견했어요. 이를 해결하기 위해 이제 실제 단어를 반환하여 분석의 명확성과 정확성을 높여 주는 표제어 추출(lemmatization)을 사용하겠습니다.
WordNetLemmatizer는 이미 가져왔고, stop_words가 정의되어 있으며, 필요한 NLTK 리소스도 다운로드했습니다.
이 연습은 강의의 일부입니다
Python으로 배우는 Natural Language Processing (NLP)
연습 안내
WordNetLemmatizer()클래스로 인스턴스lemmatizer를 생성하세요.lemmatizer를 사용해lower_tokens에 표제어 추출을 적용하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
clean_tokens = ['flying', 'lot', 'lately', 'flights', 'keep', 'getting', 'delayed', 'honestly', 'traveling', 'work', 'gets', 'exhausting', 'endless', 'delays', 'every', 'travel', 'teaches', 'something', 'new']
# Create lemmatizer
lemmatizer = ____()
# Lemmatize each token
lemmatized_tokens = [____.____(____) for ____ in clean_tokens]
print(lemmatized_tokens)