Phân giải đa nghĩa từ với spaCy

WSD là một bài toán kinh điển nhằm quyết định nghĩa nào của một từ được dùng trong câu. Xác định đúng nghĩa của từ rất quan trọng trong công cụ tìm kiếm, dịch máy và hệ thống hỏi-đáp. Trong bài tập này, bạn sẽ luyện dùng gán nhãn từ loại (POS tagging) để phân giải đa nghĩa từ.

Có hai câu chứa từ jam, với hai nghĩa khác nhau, và nhiệm vụ của bạn là xác định các nhãn POS để giúp suy ra nghĩa tương ứng của từ trong từng câu.

Hai câu đã có sẵn trong danh sách texts. Mô hình en_core_web_sm đã được nạp và sẵn dùng dưới tên nlp.

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

texts = ["This device is used to jam the signal.",
         "I am stuck in a traffic jam"]

# Create a list of Doc containers in the texts list
documents = [____ for t in texts]

# Print a token's text and POS tag if the word jam is in the token's text
for i, doc in enumerate(documents):
    print(f"Sentence {i+1}: ", [(____, ____) for token in doc if "jam" in token.text], "\n")

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này sẽ giới thiệu bạn với NLP, một số trường hợp sử dụng như nhận dạng thực thể có tên và chatbot dùng AI. Bạn sẽ học cách dùng thư viện mạnh mẽ spaCy để thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên như tách từ (tokenization), phân đoạn câu, gán nhãn từ loại (POS tagging) và nhận dạng thực thể có tên.

Exercise 1: Những điều cơ bản về Xử lý Ngôn ngữ Tự nhiên (NLP)Exercise 2: Container Doc trong spaCy Exercise 3: Tình huống sử dụng NER Exercise 4: Tách từ (Tokenization) với spaCy Exercise 5: Những điều cơ bản về spaCy Exercise 6: Chạy một pipeline spaCy Exercise 7: Lemmatization với spaCy Exercise 8: Phân đoạn câu với spaCy Exercise 9: Đặc trưng ngôn ngữ trong spaCy Exercise 10: Gán nhãn từ loại (POS) với spaCy Exercise 11: NER với spaCy Exercise 12: Xử lý văn bản với spaCy

Tìm hiểu về các đặc trưng ngôn ngữ, vector từ, độ tương đồng ngữ nghĩa, phép so sánh tương tự và các thao tác với vector từ. Trong chương này, bạn sẽ khám phá cách dùng spaCy để trích xuất vector từ, phân loại văn bản liên quan đến một chủ đề cho trước và tìm các thuật ngữ tương đồng về ngữ nghĩa với những từ nhất định từ một corpus hoặc từ vốn từ vựng của mô hình spaCy.

Exercise 1: Đặc trưng ngôn ngữ học Exercise 2: Chú giải ngôn ngữ học trong spaCy Exercise 3: Phân giải đa nghĩa từ với spaCy

Bài tập hiện tại

Exercise 4: Phân tích phụ thuộc cú pháp với spaCy Exercise 5: Giới thiệu về vector từ Exercise 6: Từ vựng trong spaCy Exercise 7: Vector từ trong vốn từ vựng của spaCy Exercise 8: Vector từ và spaCy Exercise 9: Phép so sánh tương tự và phép toán véc-tơ Exercise 10: Chiếu (projection) vector từ Exercise 11: Các từ tương tự trong một từ vựng Exercise 12: Đo lường độ tương đồng ngữ nghĩa với spaCy Exercise 13: Độ tương đồng Doc với spaCy Exercise 14: Độ tương đồng của Span với spaCy Exercise 15: Độ tương đồng ngữ nghĩa để phân loại văn bản

Làm quen với các thành phần trong pipeline của spaCy, cách thêm một thành phần vào pipeline và phân tích pipeline NLP. Bạn cũng sẽ học nhiều cách tiếp cận trích xuất thông tin dựa trên luật bằng các lớp EntityRuler, Matcher và PhraseMatcher trong spaCy cùng gói RegEx của Python.

Exercise 1: Pipeline của spaCy Exercise 2: Thêm pipe trong spaCy Exercise 3: Phân tích pipeline trong spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler với mô hình spaCy trống Exercise 6: EntityRuler cho NER Exercise 7: EntityRuler với nhiều pattern trong spaCy Exercise 8: RegEx với spaCy Exercise 9: RegEx trong Python Exercise 10: RegEx với EntityRuler trong spaCy Exercise 11: spaCy Matcher và PhraseMatcher Exercise 12: Khớp một thuật ngữ đơn trong spaCy Exercise 13: PhraseMatcher trong spaCy Exercise 14: So khớp với cú pháp mở rộng trong spaCy

Khám phá nhiều tình huống thực tế nơi mô hình spaCy có thể thất bại và học cách huấn luyện tiếp để cải thiện hiệu năng mô hình. Bạn sẽ được giới thiệu quy trình huấn luyện trong spaCy và hiểu cách huấn luyện một mô hình spaCy hiện có hoặc từ đầu, cũng như đánh giá mô hình ở thời điểm suy luận (inference).

Exercise 1: Tùy chỉnh các mô hình spaCy Exercise 2: Huấn luyện mô hình spaCy Exercise 3: Hiệu suất mô hình trên dữ liệu của bạn Exercise 4: Định dạng dữ liệu huấn luyện của spaCy Exercise 5: Các bước huấn luyện Exercise 6: Gán nhãn và chuẩn bị dữ liệu huấn luyện Exercise 7: Dữ liệu huấn luyện tương thích Exercise 8: Huấn luyện với spaCy Exercise 9: Các bước chuẩn bị huấn luyện Exercise 10: Huấn luyện một mô hình NER hiện có Exercise 11: Huấn luyện spaCy model từ đầu Exercise 12: Tổng kết