Độ tương đồng câu hỏi và tính đúng ngữ pháp

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Natural Language Processing (NLP) bằng Python

SkillTag.level.intermediateSkillTag.label

4.9+

Tìm hiểu các yếu tố cốt lõi của xử lý văn bản trong Natural Language Processing (NLP). Nắm vững các kỹ thuật như tokenization, loại bỏ stop word và dấu câu, cùng chuẩn hóa văn bản với chuyển về chữ thường, stemming và lemmatization để chuẩn bị dữ liệu văn bản cho các bước phân tích và khai thác insight tiếp theo.

Exercise 1: Giới thiệu về xử lý ngôn ngữ tự nhiên Exercise 2: Tokenization câu và từ Exercise 3: Quy trình làm việc NLP Exercise 4: Xử lý stop words và dấu câu Exercise 5: Loại bỏ stop words Exercise 6: Loại bỏ dấu câu Exercise 7: Kỹ thuật chuẩn hóa văn bản Exercise 8: Chuyển về chữ thường Exercise 9: Stemming Exercise 10: Lemmatization

Biến văn bản thô thành các đặc trưng số mạnh mẽ. Tạo biểu diễn Bag-of-Words và TF-IDF để nắm bắt tầm quan trọng của từ trong toàn bộ tài liệu, sau đó khám phá word embeddings như Word2Vec và GloVe để phát hiện các mẫu ngữ nghĩa sâu. Trực quan hóa tần suất, mức độ liên quan và độ tương đồng để làm sống động dữ liệu văn bản của bạn.

Exercise 1: Biểu diễn Bag-of-Words Exercise 2: Xây dựng vốn từ từ đánh giá khách hàng Exercise 3: Chuyển văn bản thành số với BoW Exercise 4: Phân tích tần suất trong đánh giá sản phẩm Exercise 5: Trực quan hóa tần suất từ Exercise 6: Vector hóa TF-IDF Exercise 7: Biểu diễn TF-IDF cho phản hồi sản phẩm Exercise 8: So sánh biểu diễn BoW và TF-IDF Exercise 9: Embeddings Exercise 10: Khám phá quan hệ giữa các từ bằng embeddings Exercise 11: Trực quan hóa và so sánh word embedding

Khai thác sức mạnh của các mô hình đã huấn luyện sẵn để thực hiện các tác vụ phân loại văn bản nâng cao. Sử dụng các pipeline của Hugging Face cho phân tích cảm xúc, phân loại chủ đề và suy diễn ngôn ngữ tự nhiên. Đánh giá độ tương đồng ngữ nghĩa và tính đúng đắn ngữ pháp với các mô hình tối tân, mà không cần xây dựng từ đầu.

Exercise 1: Pipeline của Hugging Face cho phân tích cảm xúc Exercise 2: Phân tích cảm xúc của một bài đánh giá Exercise 3: Phân loại hàng loạt nhiều đánh giá Exercise 4: So sánh mô hình trên dữ liệu đánh giá có nhãn Exercise 5: Phân loại zero-shot và QNLI Exercise 6: Phân loại zero-shot cho phiếu hỗ trợ Exercise 7: Đoạn văn có trả lời câu hỏi không?Exercise 8: Độ tương đồng câu hỏi và tính đúng ngữ pháp

Bài tập hiện tại

Exercise 9: Phát hiện câu hỏi trùng lặp Exercise 10: Kiểm tra tính đúng ngữ pháp

Khám phá cốt lõi của các ứng dụng NLP hiện đại với kỹ thuật phân loại token và tạo sinh văn bản. Học cách trích xuất các thực thể và cấu trúc ngữ pháp có ý nghĩa bằng NER và gán loại từ (PoS). Thành thạo cả hỏi–đáp trích xuất và hỏi–đáp tóm lược, và khám phá các tác vụ tạo sinh nâng cao gồm tóm tắt, dịch và mô hình hóa ngôn ngữ bằng các pipeline của Hugging Face.

Exercise 1: Phân loại token Exercise 2: Nhận diện thực thể có tên trong tiêu đề tin tức Exercise 3: Gán nhãn từ loại (PoS) cho phân tích văn bản Exercise 4: Hỏi - đáp Exercise 5: Trả lời câu hỏi từ mô tả sản phẩm Exercise 6: Tạo câu trả lời tự nhiên với abstractive QA Exercise 7: Các tác vụ sinh chuỗi Exercise 8: Tóm tắt bài báo nhanh để nắm ý chính Exercise 9: Dịch đánh giá của khách hàng sang tiếng Pháp Exercise 10: Xây dựng hệ thống gợi ý hoàn thành tìm kiếm Exercise 11: Chúc mừng bạn