RegEx với EntityRuler trong spaCy

Regular expressions (RegEx) được dùng cho trích xuất thông tin dựa trên luật với các mẫu khớp chuỗi phức tạp. RegEx có thể được dùng để truy xuất các mẫu hoặc thay thế các mẫu khớp trong một chuỗi bằng các mẫu khác. Trong bài tập này, bạn sẽ luyện tập dùng EntityRuler trong spaCy để tìm địa chỉ email trong text đã cho.

Gói spaCy đã được nhập sẵn để bạn sử dụng. Bạn có thể dùng \d để khớp các mẫu chuỗi biểu diễn một metacharacter khớp bất kỳ chữ số nào từ 0 đến 9.

Một mẫu spaCy có thể dùng REGEX làm thuộc tính. Trong trường hợp này, một mẫu sẽ có dạng [{"TEXT": {"REGEX": "<a given pattern>"}}].

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

Xem khóa học

Hướng dẫn bài tập

Định nghĩa một mẫu để khớp số điện thoại dạng 8888888888 dùng cho EntityRuler.
Tải một mô hình tiếng Anh trống của spaCy và thêm một thành phần EntityRuler vào pipeline.
Thêm mẫu đã biên soạn vào thành phần EntityRuler.
Chạy mô hình và in ra bộ tuple gồm văn bản và kiểu của các thực thể cho text đã cho.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

text = "Our phone number is 4251234567."

# Define a pattern to match phone numbers
patterns = [{"label": "PHONE_NUMBERS", "pattern": [{"TEXT": {"REGEX": "(____){____}"}}]}]

# Load a blank model and add an EntityRuler
nlp = spacy.____("en")
ruler = nlp.____("entity_ruler")

# Add the compiled patterns to the EntityRuler
ruler.____(patterns)

# Print the tuple of entities texts and types for the given text
doc = ____(____)
print([(ent.____, ent.____) for ent in doc.____])

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này sẽ giới thiệu bạn với NLP, một số trường hợp sử dụng như nhận dạng thực thể có tên và chatbot dùng AI. Bạn sẽ học cách dùng thư viện mạnh mẽ spaCy để thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên như tách từ (tokenization), phân đoạn câu, gán nhãn từ loại (POS tagging) và nhận dạng thực thể có tên.

Exercise 1: Những điều cơ bản về Xử lý Ngôn ngữ Tự nhiên (NLP)Exercise 2: Container Doc trong spaCy Exercise 3: Tình huống sử dụng NER Exercise 4: Tách từ (Tokenization) với spaCy Exercise 5: Những điều cơ bản về spaCy Exercise 6: Chạy một pipeline spaCy Exercise 7: Lemmatization với spaCy Exercise 8: Phân đoạn câu với spaCy Exercise 9: Đặc trưng ngôn ngữ trong spaCy Exercise 10: Gán nhãn từ loại (POS) với spaCy Exercise 11: NER với spaCy Exercise 12: Xử lý văn bản với spaCy

Tìm hiểu về các đặc trưng ngôn ngữ, vector từ, độ tương đồng ngữ nghĩa, phép so sánh tương tự và các thao tác với vector từ. Trong chương này, bạn sẽ khám phá cách dùng spaCy để trích xuất vector từ, phân loại văn bản liên quan đến một chủ đề cho trước và tìm các thuật ngữ tương đồng về ngữ nghĩa với những từ nhất định từ một corpus hoặc từ vốn từ vựng của mô hình spaCy.

Exercise 1: Đặc trưng ngôn ngữ học Exercise 2: Chú giải ngôn ngữ học trong spaCy Exercise 3: Phân giải đa nghĩa từ với spaCy Exercise 4: Phân tích phụ thuộc cú pháp với spaCy Exercise 5: Giới thiệu về vector từ Exercise 6: Từ vựng trong spaCy Exercise 7: Vector từ trong vốn từ vựng của spaCy Exercise 8: Vector từ và spaCy Exercise 9: Phép so sánh tương tự và phép toán véc-tơ Exercise 10: Chiếu (projection) vector từ Exercise 11: Các từ tương tự trong một từ vựng Exercise 12: Đo lường độ tương đồng ngữ nghĩa với spaCy Exercise 13: Độ tương đồng Doc với spaCy Exercise 14: Độ tương đồng của Span với spaCy Exercise 15: Độ tương đồng ngữ nghĩa để phân loại văn bản

Làm quen với các thành phần trong pipeline của spaCy, cách thêm một thành phần vào pipeline và phân tích pipeline NLP. Bạn cũng sẽ học nhiều cách tiếp cận trích xuất thông tin dựa trên luật bằng các lớp EntityRuler, Matcher và PhraseMatcher trong spaCy cùng gói RegEx của Python.

Exercise 1: Pipeline của spaCy Exercise 2: Thêm pipe trong spaCy Exercise 3: Phân tích pipeline trong spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler với mô hình spaCy trống Exercise 6: EntityRuler cho NER Exercise 7: EntityRuler với nhiều pattern trong spaCy Exercise 8: RegEx với spaCy Exercise 9: RegEx trong Python Exercise 10: RegEx với EntityRuler trong spaCy

Bài tập hiện tại

Exercise 11: spaCy Matcher và PhraseMatcher Exercise 12: Khớp một thuật ngữ đơn trong spaCy Exercise 13: PhraseMatcher trong spaCy Exercise 14: So khớp với cú pháp mở rộng trong spaCy

Khám phá nhiều tình huống thực tế nơi mô hình spaCy có thể thất bại và học cách huấn luyện tiếp để cải thiện hiệu năng mô hình. Bạn sẽ được giới thiệu quy trình huấn luyện trong spaCy và hiểu cách huấn luyện một mô hình spaCy hiện có hoặc từ đầu, cũng như đánh giá mô hình ở thời điểm suy luận (inference).

Exercise 1: Tùy chỉnh các mô hình spaCy Exercise 2: Huấn luyện mô hình spaCy Exercise 3: Hiệu suất mô hình trên dữ liệu của bạn Exercise 4: Định dạng dữ liệu huấn luyện của spaCy Exercise 5: Các bước huấn luyện Exercise 6: Gán nhãn và chuẩn bị dữ liệu huấn luyện Exercise 7: Dữ liệu huấn luyện tương thích Exercise 8: Huấn luyện với spaCy Exercise 9: Các bước chuẩn bị huấn luyện Exercise 10: Huấn luyện một mô hình NER hiện có Exercise 11: Huấn luyện spaCy model từ đầu Exercise 12: Tổng kết