Các bước chuẩn bị huấn luyện

Trước và trong khi huấn luyện một mô hình spaCy, bạn sẽ cần (1) vô hiệu hóa các thành phần pipeline khác để chỉ huấn luyện đúng thành phần mong muốn và (2) chuyển một Doc container của một điểm dữ liệu huấn luyện và annotations tương ứng thành lớp Example.

Trong bài tập này, bạn sẽ luyện tập hai bước trên bằng cách dùng mô hình en_core_web_sm đã được nạp sẵn, truy cập qua nlp. Lớp Example đã được import và một chuỗi text cùng các annotations liên quan cũng đã sẵn sàng để bạn sử dụng.

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

Xem khóa học

Hướng dẫn bài tập

Vô hiệu hóa tất cả các thành phần pipeline của mô hình nlp ngoại trừ ner.
Chuyển một chuỗi text và các annotations của nó sang đúng định dạng có thể dùng cho huấn luyện.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

nlp = spacy.load("en_core_web_sm")

# Disable all pipeline components of  except `ner`
other_pipes = [____ for ____ in nlp.____ if ____ != 'ner']
nlp.____(*other_pipes)

# Convert a text and its annotations to the correct format usable for training
doc = nlp.____(text)
example = Example.____(____, ____)
print("Example object for training: \n", example.to_dict())

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Xử lý ngôn ngữ tự nhiên với spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Chương này sẽ giới thiệu bạn với NLP, một số trường hợp sử dụng như nhận dạng thực thể có tên và chatbot dùng AI. Bạn sẽ học cách dùng thư viện mạnh mẽ spaCy để thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên như tách từ (tokenization), phân đoạn câu, gán nhãn từ loại (POS tagging) và nhận dạng thực thể có tên.

Exercise 1: Những điều cơ bản về Xử lý Ngôn ngữ Tự nhiên (NLP)Exercise 2: Container Doc trong spaCy Exercise 3: Tình huống sử dụng NER Exercise 4: Tách từ (Tokenization) với spaCy Exercise 5: Những điều cơ bản về spaCy Exercise 6: Chạy một pipeline spaCy Exercise 7: Lemmatization với spaCy Exercise 8: Phân đoạn câu với spaCy Exercise 9: Đặc trưng ngôn ngữ trong spaCy Exercise 10: Gán nhãn từ loại (POS) với spaCy Exercise 11: NER với spaCy Exercise 12: Xử lý văn bản với spaCy

Tìm hiểu về các đặc trưng ngôn ngữ, vector từ, độ tương đồng ngữ nghĩa, phép so sánh tương tự và các thao tác với vector từ. Trong chương này, bạn sẽ khám phá cách dùng spaCy để trích xuất vector từ, phân loại văn bản liên quan đến một chủ đề cho trước và tìm các thuật ngữ tương đồng về ngữ nghĩa với những từ nhất định từ một corpus hoặc từ vốn từ vựng của mô hình spaCy.

Exercise 1: Đặc trưng ngôn ngữ học Exercise 2: Chú giải ngôn ngữ học trong spaCy Exercise 3: Phân giải đa nghĩa từ với spaCy Exercise 4: Phân tích phụ thuộc cú pháp với spaCy Exercise 5: Giới thiệu về vector từ Exercise 6: Từ vựng trong spaCy Exercise 7: Vector từ trong vốn từ vựng của spaCy Exercise 8: Vector từ và spaCy Exercise 9: Phép so sánh tương tự và phép toán véc-tơ Exercise 10: Chiếu (projection) vector từ Exercise 11: Các từ tương tự trong một từ vựng Exercise 12: Đo lường độ tương đồng ngữ nghĩa với spaCy Exercise 13: Độ tương đồng Doc với spaCy Exercise 14: Độ tương đồng của Span với spaCy Exercise 15: Độ tương đồng ngữ nghĩa để phân loại văn bản

Làm quen với các thành phần trong pipeline của spaCy, cách thêm một thành phần vào pipeline và phân tích pipeline NLP. Bạn cũng sẽ học nhiều cách tiếp cận trích xuất thông tin dựa trên luật bằng các lớp EntityRuler, Matcher và PhraseMatcher trong spaCy cùng gói RegEx của Python.

Exercise 1: Pipeline của spaCy Exercise 2: Thêm pipe trong spaCy Exercise 3: Phân tích pipeline trong spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler với mô hình spaCy trống Exercise 6: EntityRuler cho NER Exercise 7: EntityRuler với nhiều pattern trong spaCy Exercise 8: RegEx với spaCy Exercise 9: RegEx trong Python Exercise 10: RegEx với EntityRuler trong spaCy Exercise 11: spaCy Matcher và PhraseMatcher Exercise 12: Khớp một thuật ngữ đơn trong spaCy Exercise 13: PhraseMatcher trong spaCy Exercise 14: So khớp với cú pháp mở rộng trong spaCy

Khám phá nhiều tình huống thực tế nơi mô hình spaCy có thể thất bại và học cách huấn luyện tiếp để cải thiện hiệu năng mô hình. Bạn sẽ được giới thiệu quy trình huấn luyện trong spaCy và hiểu cách huấn luyện một mô hình spaCy hiện có hoặc từ đầu, cũng như đánh giá mô hình ở thời điểm suy luận (inference).

Exercise 1: Tùy chỉnh các mô hình spaCy Exercise 2: Huấn luyện mô hình spaCy Exercise 3: Hiệu suất mô hình trên dữ liệu của bạn Exercise 4: Định dạng dữ liệu huấn luyện của spaCy Exercise 5: Các bước huấn luyện Exercise 6: Gán nhãn và chuẩn bị dữ liệu huấn luyện Exercise 7: Dữ liệu huấn luyện tương thích Exercise 8: Huấn luyện với spaCy Exercise 9: Các bước chuẩn bị huấn luyện

Bài tập hiện tại

Exercise 10: Huấn luyện một mô hình NER hiện có Exercise 11: Huấn luyện spaCy model từ đầu Exercise 12: Tổng kết