Pipeline tiền xử lý ngôn ngữ Shakespeare

Tại PyBooks, nhóm muốn chuyển đổi một thư viện lớn dữ liệu văn bản của Shakespeare để phục vụ phân tích tiếp theo. Cách hiệu quả nhất là xây dựng một pipeline xử lý văn bản, bắt đầu từ các bước tiền xử lý.

Những nội dung sau đã được nạp sẵn cho bạn: torch, nltk, stopwords, PorterStemmer, get_tokenizer.

Dữ liệu văn bản Shakespeare được lưu trong shakespeare và các câu đã được trích xuất sẵn.

Bài tập này là một phần của khóa học

Deep Learning cho Văn bản với PyTorch

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Create a list of stopwords
stop_words = set(____(____))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Deep Learning cho Văn bản với PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này giới thiệu bạn với deep learning cho văn bản và các ứng dụng của nó. Học cách dùng PyTorch để xử lý văn bản và thực hành các kỹ thuật như tokenization, stemming, loại bỏ stopword, và hơn thế nữa. Hiểu tầm quan trọng của việc mã hóa dữ liệu văn bản và triển khai các kỹ thuật mã hóa bằng PyTorch. Cuối cùng, củng cố kiến thức bằng cách xây dựng một pipeline xử lý văn bản kết hợp các kỹ thuật này.

Exercise 1: Giới thiệu về tiền xử lý văn bản Exercise 2: Phân tích tần suất từ Exercise 3: Tiền xử lý văn bản Exercise 4: Mã hóa dữ liệu văn bản Exercise 5: One-hot hóa tiêu đề sách Exercise 6: Bag-of-words cho tiêu đề sách Exercise 7: Áp dụng TF-IDF cho mô tả sách Exercise 8: Giới thiệu về xây dựng pipeline xử lý văn bản Exercise 9: Pipeline tiền xử lý ngôn ngữ Shakespeare

Bài tập hiện tại

Exercise 10: Bộ mã hoá ngôn ngữ Shakespeare

Khám phá phân loại văn bản và vai trò của nó trong Xử lý Ngôn ngữ Tự nhiên (NLP). Vận dụng kỹ năng của bạn để triển khai word embedding và phát triển cả Mạng Nơ-ron Tích chập (CNN) và Mạng Nơ-ron Hồi quy (RNN) cho bài toán phân loại văn bản bằng PyTorch, đồng thời hiểu cách đánh giá mô hình với các chỉ số phù hợp.

Exercise 1: Tổng quan về phân loại văn bản Exercise 2: Embedding trong PyTorch Exercise 3: Phân loại các tác vụ phân loại văn bản Exercise 4: Mạng nơ-ron tích chập cho phân loại văn bản Exercise 5: Xây dựng mô hình CNN cho văn bản Exercise 6: Huấn luyện một mô hình CNN cho văn bản Exercise 7: Kiểm thử mô hình CNN phân tích cảm xúc Exercise 8: Mạng nơ-ron hồi quy cho phân loại văn bản Exercise 9: Xây dựng mô hình RNN cho văn bản Exercise 10: Xây dựng mô hình LSTM cho văn bản Exercise 11: Xây dựng mô hình GRU cho văn bản Exercise 12: Các chỉ số đánh giá cho phân loại văn bản Exercise 13: Đánh giá các mô hình phân loại RNN Exercise 14: Đánh giá hiệu suất của mô hình Exercise 15: So sánh mô hình

Bước vào thế giới thú vị của sinh văn bản và các ứng dụng trong NLP. Hiểu cách tận dụng Mạng Nơ-ron Hồi quy (RNN), Mạng Đối nghịch Sinh (GAN), và các mô hình pre-trained cho các tác vụ sinh văn bản bằng PyTorch. Song song đó, bạn sẽ học cách đánh giá hiệu năng mô hình bằng các chỉ số liên quan.

Exercise 1: Giới thiệu về sinh văn bản Exercise 2: Tạo mô hình RNN cho sinh văn bản Exercise 3: Sinh văn bản bằng RNN - Huấn luyện và Sinh Exercise 4: Generative adversarial networks cho sinh văn bản Exercise 5: Xây dựng generator và discriminator Exercise 6: Huấn luyện mô hình GAN Exercise 7: Các mô hình tiền huấn luyện cho sinh văn bản Exercise 8: Hoàn thành văn bản với mô hình GPT-2 đã huấn luyện sẵn Exercise 9: Dịch ngôn ngữ với mô hình PyTorch pretrained Exercise 10: Các chỉ số đánh giá cho sinh văn bản Exercise 11: Đánh giá mô hình sinh văn bản đã được huấn luyện sẵn Exercise 12: Hiểu các chỉ số đánh giá sinh văn bản

Hiểu khái niệm transfer learning và cách áp dụng trong phân loại văn bản. Khám phá Transformers, kiến trúc của chúng, và cách dùng cho các tác vụ phân loại và sinh văn bản. Bạn cũng sẽ tìm hiểu cơ chế attention và vai trò của nó trong xử lý văn bản. Cuối cùng, hiểu tác động tiềm ẩn của các tấn công đối kháng lên mô hình phân loại văn bản và học cách bảo vệ mô hình của bạn.

Exercise 1: Transfer learning cho phân loại văn bản Exercise 2: Transfer learning với BERT Exercise 3: Đánh giá mô hình BERT Exercise 4: Transformers cho xử lý văn bản Exercise 5: Tạo mô hình transformer Exercise 6: Huấn luyện và kiểm thử mô hình Transformer Exercise 7: Cơ chế attention cho xử lý văn bản Exercise 8: Tạo mô hình RNN có attention Exercise 9: Huấn luyện và kiểm thử mô hình RNN với attention Exercise 10: Tấn công đối kháng lên các mô hình phân loại văn bản Exercise 11: Phân loại tấn công đối kháng Exercise 12: Bảo vệ AI tại PyBooks Exercise 13: Tổng kết