Token hóa bài diễn văn Gettysburg
Trong bài tập này, bạn sẽ token hóa một trong những bài diễn văn nổi tiếng nhất mọi thời đại: bài diễn văn Gettysburg do Tổng thống Mỹ Abraham Lincoln trình bày trong Nội chiến Hoa Kỳ.
Toàn bộ bài diễn văn đã được lưu trong một chuỗi tên là gettysburg.
Bài tập này là một phần của khóa học
Khai thác đặc trưng cho NLP bằng Python
Hướng dẫn bài tập
- Tải mô hình
en_core_web_smbằngspacy.load(). - Tạo một đối tượng Doc
doccho chuỗigettysburg. - Dùng list comprehension, lặp qua
docđể tạo danh sách các văn bản token.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)