Xử lý lượng lớn dữ liệu Twitter
Đôi khi, dữ liệu cần xử lý có kích thước quá lớn so với bộ nhớ của máy tính. Đây là vấn đề mà các nhà khoa học dữ liệu thường gặp. Một cách giải quyết là xử lý toàn bộ nguồn dữ liệu theo từng phần (chunk) thay vì tải và xử lý tất cả cùng lúc.
Trong bài tập này, bạn sẽ làm đúng như vậy. Bạn sẽ xử lý một tệp csv lớn chứa dữ liệu Twitter tương tự cách bạn đã xử lý 'tweets.csv' trong phần Bringing it all together của khóa học trước, nhưng lần này sẽ làm theo từng phần, mỗi lần 10 bản ghi.
Nếu bạn quan tâm đến cách truy cập dữ liệu Twitter để tự làm việc trên hệ thống của mình, hãy tham khảo Phần 2 của khóa học DataCamp về Importing Data in Python.
Gói pandas đã được import với tên pd và tệp 'tweets.csv' đang có sẵn trong thư mục hiện tại để bạn sử dụng.
Lưu ý đây là dữ liệu thực từ Twitter nên luôn có rủi ro chứa lời lẽ tục tĩu hoặc nội dung gây phản cảm (áp dụng cho bài tập này và mọi bài tập tiếp theo cũng dùng dữ liệu Twitter thực).
Bài tập này là một phần của khóa học
Hộp Công Cụ Python
Hướng dẫn bài tập
- Khởi tạo một dictionary rỗng
counts_dictđể lưu kết quả xử lý dữ liệu Twitter. - Duyệt qua tệp
'tweets.csv'bằng vòng lặpfor. Dùng biến vòng lặpchunkvà lặp qua lời gọipd.read_csv()vớichunksizebằng 10. - Ở vòng lặp trong, duyệt qua cột
'lang'trongchunkbằng vòng lặpfor. Dùng biến vòng lặpentry.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Initialize an empty dictionary: counts_dict
# Iterate over the file chunk by chunk
for ____ in ____:
# Iterate over the column in DataFrame
for ____ in ____:
if entry in counts_dict.keys():
counts_dict[entry] += 1
else:
counts_dict[entry] = 1
# Print the populated dictionary
print(counts_dict)