Regex với tokenization trong NLTK

Twitter thường được dùng làm nguồn văn bản và bài toán cho NLP. Trong bài tập này, bạn sẽ xây dựng một bộ tách từ (tokenizer) phức tạp hơn cho tweet có hashtag và mention bằng nltk và regex. Lớp nltk.tokenize.TweetTokenizer cung cấp thêm một số phương thức và thuộc tính để phân tích tweet.

Tại đây, bạn được cung cấp một vài tweet mẫu để phân tách bằng cả TweetTokenizer và regexp_tokenize từ mô-đun nltk.tokenize. Các tweet mẫu này đã được nạp sẵn vào biến tweets. Bạn có thể thoải mái khám phá nó trong IPython Shell!

Khác với cú pháp của thư viện regex, với nltk_tokenize() bạn truyền pattern làm đối số thứ hai.

Từ nltk.tokenize, import regexp_tokenize và TweetTokenizer.

Bài tập

Regex với tokenization trong NLTK

Hướng dẫn 1/4

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}Bài tập

Hướng dẫn 1/4

Bài tập