Vì văn bản là dữ liệu phi cấu trúc, bạn cần xử lý ở một mức độ nhất định để đưa nó về dạng có thể phân tích. Trong chương này, bạn sẽ học cách bổ sung cấu trúc cho văn bản bằng cách token hóa, làm sạch và xem văn bản như dữ liệu phân loại.

Xem văn bản như dữ liệu

Dữ liệu tweet về hãng hàng không

Tổng hợp theo nhóm

Đếm dữ liệu phân loại

Đếm loại người dùng

Tóm tắt theo loại người dùng

Tách token và làm sạch

Tách từ và đếm

Làm sạch và đếm

Xử lý (Wrangling) Văn bản

Đếm từ thì hữu ích, nhưng trực quan hóa còn tốt hơn. Trong chương này, bạn sẽ học cách áp dụng những gì bạn biết từ ggplot2 vào dữ liệu văn bản theo chuẩn tidy.

Vẽ biểu đồ tần suất từ

Trực quan hóa lời phàn nàn

Trực quan hóa các bài không khiếu nại

Cải thiện biểu đồ đếm từ

Thêm stop words tùy chỉnh

Trực quan hóa tần suất từ bằng factors

Vẽ biểu đồ đếm từ với faceting

Đếm theo sản phẩm và sắp xếp lại

Trực quan hóa số lần xuất hiện từ với facets

Vẽ word cloud

Tạo đám mây từ

Thêm chút màu sắc

Trực quan hóa Văn bản

Đếm từ và biểu đồ có thể gợi ý đôi điều về nội dung, nhưng ta có thể làm nhiều hơn thế. Trong chương này, ta đi xa hơn việc chỉ đếm từ để phân tích cảm xúc hay sắc thái cảm xúc của văn bản.

Từ điển cảm xúc

Đếm cảm xúc theo từ điển NRC

Trực quan hóa cảm xúc theo từ điển NRC

Nối các dictionary

Đếm cảm xúc (sentiment)

Trực quan hóa cảm xúc

Cải thiện phân tích cảm xúc

Luyện tập biến đổi hình dạng dữ liệu

Luyện tập với tổng hợp theo nhóm

Trực quan hóa cảm xúc theo loại phàn nàn

Phân tích Cảm xúc

Ở chương cuối, chúng ta vượt ra ngoài việc đếm từ để khám phá các chủ đề tiềm ẩn trong một tập tài liệu. Chúng ta sẽ sử dụng một mô hình chủ đề chuẩn gọi là latent Dirichlet allocation.

Latent Dirichlet allocation (LDA)

Chủ đề dưới dạng xác suất từ

Tóm tắt các chủ đề

Trực quan hóa các chủ đề

Ma trận thuật ngữ tài liệu

Tạo DTM

Đánh giá DTM dưới dạng ma trận

Chạy mô hình chủ đề

Huấn luyện một mô hình LDA

Làm gọn đầu ra LDA

So sánh đầu ra LDA

Diễn giải các chủ đề

Đặt tên cho ba chủ đề

Đặt tên cho bốn chủ đề

Tổng kết

Mô hình hóa Chủ đề

Airline tweets

Roomba reviews

Từ mạng xã hội đến đánh giá sản phẩm, văn bản ngày càng trở thành kiểu dữ liệu quan trọng trong nhiều ứng dụng, bao gồm phân tích tiếp thị. Trong nhiều trường hợp, văn bản đang thay thế các dạng dữ liệu phi cấu trúc khác nhờ chi phí thấp và tính cập nhật. Tuy nhiên, để khai thác hết tiềm năng của văn bản, bạn cần biết cách tư duy, làm sạch, tóm tắt và mô hình hóa văn bản. Trong khóa học này, bạn sẽ dùng các công cụ tidy mới nhất để bắt đầu làm việc với văn bản một cách nhanh chóng và dễ dàng. Bạn sẽ học cách xử lý và trực quan hóa văn bản, thực hiện phân tích cảm xúc và chạy cũng như diễn giải các mô hình chủ đề.

Introduction to the Tidyverse

Tìm hiểu cách phân tích dữ liệu văn bản bằng tidy framework trong R: phân tích cảm xúc, mô hình chủ đề.

Tách token và làm sạch

Create Your Free Account