BOW에서 토큰 시퀀스 길이 지정하기
영상에서 토큰의 길이(바로 n-gram)를 다르게 지정하면 문맥을 더 잘 포착할 수 있고, 이는 매우 중요할 수 있다고 배웠습니다.
이번 연습에서는 Amazon 상품 리뷰의 샘플을 사용합니다. review 열을 사용해 BOW vocabulary를 만들고, 토큰 시퀀스의 길이를 지정해 보세요.
이 연습은 강의의 일부입니다
Python으로 배우는 Sentiment Analysis
연습 안내
- 토큰 시퀀스 길이를 유니그램과 바이그램으로 지정해 벡터라이저를 만드세요.
- 벡터라이저를 fit 하세요.
- fit 한 벡터라이저로 transform 하세요.
- DataFrame에서 열 이름을 올바르게 지정했는지 확인하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
from sklearn.feature_extraction.text import CountVectorizer
# Build the vectorizer, specify token sequence and fit
vect = ____(____=(___,___))
vect.____(reviews.review)
# Transform the review column
X_review = vect.____(reviews.review)
# Create the bow representation
X_df = pd.DataFrame(X_review.toarray(), columns=vect.____)
print(X_df.head())