Tfidf và BOW trên cùng một dữ liệu
Trong bài này, bạn sẽ biến đổi cột review của reviews sản phẩm Amazon bằng cả bag-of-words và phép biến đổi tfidf.
Xây dựng cả hai vectorizer, chỉ định số lượng đặc trưng tối đa bằng 100. Tạo các DataFrame sau khi biến đổi và in ra 5 hàng đầu tiên của mỗi cái.
Hãy cẩn thận khi đặt số lượng đặc trưng tối đa trong từ vựng. Kích thước từ vựng quá lớn có thể khiến phiên của bạn bị ngắt kết nối.
Bài tập này là một phần của khóa học
Phân tích cảm xúc với Python
Hướng dẫn bài tập
- Import các vectorizer BOW và Tfidf.
- Xây dựng và fit một vectorizer BOW và một vectorizer Tfidf từ cột
reviewvà giới hạn số đặc trưng được tạo ở mức 100. - Tạo các DataFrame từ các biểu diễn vector đã biến đổi.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the required packages
____
# Build a BOW and tfidf vectorizers from the review column and with max of 100 features
vect1 = ____(____=100).____(____.____)
vect2 = ____(____=100).____(____.____)
# Transform the vectorizers
X1 = vect1.transform(reviews.review)
X2 = vect2.transform(reviews.review)
# Create DataFrames from the vectorizers
X_df1 = pd.DataFrame(X1.____, columns=____.____)
X_df2 = pd.DataFrame(X2.____, columns=____.____)
print('Top 5 rows using BOW: \n', X_df1.head())
print('Top 5 rows using tfidf: \n', X_df2.head())