Tạo dictionary và corpus
Để chạy mô hình chủ đề LDA, trước hết bạn cần định nghĩa dictionary và corpus, vì chúng sẽ được đưa vào mô hình. Bạn sẽ tiếp tục làm việc với dữ liệu văn bản đã được làm sạch ở các bài trước. Nghĩa là text_clean đã sẵn sàng để bạn tiếp tục sử dụng, và bạn sẽ dùng nó để tạo dictionary và corpus.
Bài tập này có thể chạy lâu hơn bình thường một chút.
Bài tập này là một phần của khóa học
Phát hiện gian lận với Python
Hướng dẫn bài tập
- Import gói gensim và import riêng phần corpora từ gensim.
- Định nghĩa dictionary bằng cách chạy hàm phù hợp trên dữ liệu đã làm sạch
text_clean. - Định nghĩa corpus bằng cách chạy
doc2bowtrên từng đoạn văn bản trongtext_clean. - In kết quả để xem
dictionaryvàcorpustrông như thế nào.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the packages
import ____
from ____ import ____
# Define the dictionary
dictionary = ____.____(____)
# Define the corpus
corpus = [dictionary.____(text) for ___ in ____]
# Print corpus and dictionary
print(____)
print(____)