NER với spaCy

Nhận dạng thực thể có tên (Named Entity Recognition - NER) giúp bạn nhanh chóng xác định các thành phần quan trọng trong một tài liệu, như tên người và địa điểm. Nó giúp sắp xếp dữ liệu phi cấu trúc và phát hiện thông tin quan trọng — điều cốt yếu khi bạn xử lý các bộ dữ liệu lớn. Trong bài tập này, bạn sẽ thực hành Named Entity Recognition.

en_core_web_sm đã được nạp sẵn dưới tên nlp. Ba bình luận từ bộ dữ liệu Airline Travel Information System (ATIS) đã được cung cấp trong một danh sách gọi là texts.

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

Xem khóa học

Hướng dẫn bài tập

Tạo documents, một danh sách gồm tất cả các Doc cho từng văn bản trong texts bằng list comprehension.
Với mỗi doc, in ra văn bản của từng thực thể và nhãn tương ứng bằng cách lặp qua doc.ents.
In văn bản của token thứ sáu và kiểu thực thể của Doc thứ hai.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Compile a list of all Doc containers of texts
documents = [____ for text in texts]

# Print the entity text and label for the entities in each document
for doc in documents:
    print([(____, ____) for ent in ____])
    
# Print the 6th token's text and entity type of the second document
print("\nText:", documents[1][5].____, "| Entity type: ", documents[1][5].____)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này sẽ giới thiệu bạn với NLP, một số trường hợp sử dụng như nhận dạng thực thể có tên và chatbot dùng AI. Bạn sẽ học cách dùng thư viện mạnh mẽ spaCy để thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên như tách từ (tokenization), phân đoạn câu, gán nhãn từ loại (POS tagging) và nhận dạng thực thể có tên.

Exercise 1: Những điều cơ bản về Xử lý Ngôn ngữ Tự nhiên (NLP)Exercise 2: Container Doc trong spaCy Exercise 3: Tình huống sử dụng NER Exercise 4: Tách từ (Tokenization) với spaCy Exercise 5: Những điều cơ bản về spaCy Exercise 6: Chạy một pipeline spaCy Exercise 7: Lemmatization với spaCy Exercise 8: Phân đoạn câu với spaCy Exercise 9: Đặc trưng ngôn ngữ trong spaCy Exercise 10: Gán nhãn từ loại (POS) với spaCy Exercise 11: NER với spaCy

Bài tập hiện tại

Exercise 12: Xử lý văn bản với spaCy

Tìm hiểu về các đặc trưng ngôn ngữ, vector từ, độ tương đồng ngữ nghĩa, phép so sánh tương tự và các thao tác với vector từ. Trong chương này, bạn sẽ khám phá cách dùng spaCy để trích xuất vector từ, phân loại văn bản liên quan đến một chủ đề cho trước và tìm các thuật ngữ tương đồng về ngữ nghĩa với những từ nhất định từ một corpus hoặc từ vốn từ vựng của mô hình spaCy.

Exercise 1: Đặc trưng ngôn ngữ học Exercise 2: Chú giải ngôn ngữ học trong spaCy Exercise 3: Phân giải đa nghĩa từ với spaCy Exercise 4: Phân tích phụ thuộc cú pháp với spaCy Exercise 5: Giới thiệu về vector từ Exercise 6: Từ vựng trong spaCy Exercise 7: Vector từ trong vốn từ vựng của spaCy Exercise 8: Vector từ và spaCy Exercise 9: Phép so sánh tương tự và phép toán véc-tơ Exercise 10: Chiếu (projection) vector từ Exercise 11: Các từ tương tự trong một từ vựng Exercise 12: Đo lường độ tương đồng ngữ nghĩa với spaCy Exercise 13: Độ tương đồng Doc với spaCy Exercise 14: Độ tương đồng của Span với spaCy Exercise 15: Độ tương đồng ngữ nghĩa để phân loại văn bản

Làm quen với các thành phần trong pipeline của spaCy, cách thêm một thành phần vào pipeline và phân tích pipeline NLP. Bạn cũng sẽ học nhiều cách tiếp cận trích xuất thông tin dựa trên luật bằng các lớp EntityRuler, Matcher và PhraseMatcher trong spaCy cùng gói RegEx của Python.

Exercise 1: Pipeline của spaCy Exercise 2: Thêm pipe trong spaCy Exercise 3: Phân tích pipeline trong spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler với mô hình spaCy trống Exercise 6: EntityRuler cho NER Exercise 7: EntityRuler với nhiều pattern trong spaCy Exercise 8: RegEx với spaCy Exercise 9: RegEx trong Python Exercise 10: RegEx với EntityRuler trong spaCy Exercise 11: spaCy Matcher và PhraseMatcher Exercise 12: Khớp một thuật ngữ đơn trong spaCy Exercise 13: PhraseMatcher trong spaCy Exercise 14: So khớp với cú pháp mở rộng trong spaCy

Khám phá nhiều tình huống thực tế nơi mô hình spaCy có thể thất bại và học cách huấn luyện tiếp để cải thiện hiệu năng mô hình. Bạn sẽ được giới thiệu quy trình huấn luyện trong spaCy và hiểu cách huấn luyện một mô hình spaCy hiện có hoặc từ đầu, cũng như đánh giá mô hình ở thời điểm suy luận (inference).

Exercise 1: Tùy chỉnh các mô hình spaCy Exercise 2: Huấn luyện mô hình spaCy Exercise 3: Hiệu suất mô hình trên dữ liệu của bạn Exercise 4: Định dạng dữ liệu huấn luyện của spaCy Exercise 5: Các bước huấn luyện Exercise 6: Gán nhãn và chuẩn bị dữ liệu huấn luyện Exercise 7: Dữ liệu huấn luyện tương thích Exercise 8: Huấn luyện với spaCy Exercise 9: Các bước chuẩn bị huấn luyện Exercise 10: Huấn luyện một mô hình NER hiện có Exercise 11: Huấn luyện spaCy model từ đầu Exercise 12: Tổng kết