Обработка текста с помощью spaCy

Любое NLP-приложение включает несколько шагов обработки текста. Вы уже познакомились с некоторыми из них: токенизацией, лемматизацией, сегментацией на предложения и распознаванием именованных сущностей.

spaCy NLP Pipeline

В этом упражнении вы продолжите работу с шагами обработки текста в spaCy: разобьёте текст на предложения и извлечёте именованные сущности. Для работы вы будете использовать первые пять отзывов из набора данных Amazon Fine Food Reviews. Доступ к ним осуществляется через объект texts.

Модель en_core_web_sm уже загружена и доступна через переменную nlp. Список контейнеров Doc для каждого элемента texts также предварительно загружен и доступен через переменную documents.

Это упражнение является частью курса

Обработка естественного языка с помощью spaCy

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create a list to store sentences of each Doc container in documents
sentences = [[____ for sent in doc.____] for doc in documents]

# Print number of sentences in each Doc container in documents
num_sentences = [len(____) for s in sentences]
print("Number of sentences in documents:\n", ____)

Редактировать и запускать код

Это упражнение является частью курса

Обработка естественного языка с помощью spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с NLP и некоторыми его задачами — распознаванием именованных сущностей и чат-ботами на основе ИИ. Вы научитесь использовать мощную библиотеку spaCy для выполнения различных задач обработки естественного языка: токенизации, сегментации предложений, частеречной разметки и распознавания именованных сущностей.

Exercise 1: Основы обработки естественного языка (NLP)Exercise 2: Контейнер Doc в spaCy Exercise 3: Пример использования NER Exercise 4: Токенизация с помощью spaCy Exercise 5: Основы spaCy Exercise 6: Запуск конвейера spaCy Exercise 7: Лемматизация с помощью spaCy Exercise 8: Сегментация текста на предложения с помощью spaCy Exercise 9: Лингвистические признаки в spaCy Exercise 10: Разметка частей речи с помощью spaCy Exercise 11: Распознавание именованных сущностей с помощью spaCy Exercise 12: Обработка текста с помощью spaCy

Текущее упражнение

Изучите лингвистические признаки, векторы слов, семантическое сходство, аналогии и операции с векторами слов. В этой главе вы узнаете, как использовать spaCy для извлечения векторов слов, классификации текстов по заданной теме и поиска семантически близких слов в корпусе или словаре модели spaCy.

Exercise 1: Лингвистические признаки Exercise 2: Лингвистические аннотации в spaCy Exercise 3: Разрешение лексической многозначности с помощью spaCy Exercise 4: Разбор зависимостей с помощью spaCy Exercise 5: Введение в векторные представления слов Exercise 6: Словарь spaCy Exercise 7: Векторы слов в словаре spaCy Exercise 8: Векторные представления слов и spaCy Exercise 9: Аналогии и векторные операции Exercise 10: Проекция векторов слов Exercise 11: Похожие слова в словаре Exercise 12: Измерение семантического сходства с помощью spaCy Exercise 13: Сходство документов с помощью spaCy Exercise 14: Сходство спанов в spaCy Exercise 15: Семантическое сходство для категоризации текста

Познакомьтесь с компонентами пайплайна spaCy, научитесь добавлять компоненты и анализировать NLP-пайплайн. Вы также изучите несколько подходов к извлечению информации на основе правил с использованием классов EntityRuler, Matcher и PhraseMatcher в spaCy, а также пакета RegEx для Python.

Exercise 1: Конвейеры spaCy Exercise 2: Добавление компонентов в конвейер spaCy Exercise 3: Анализ пайплайнов в spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler с пустой моделью spaCy Exercise 6: EntityRuler для NER Exercise 7: EntityRuler с несколькими шаблонами в spaCy Exercise 8: RegEx и spaCy Exercise 9: RegEx в Python Exercise 10: RegEx с EntityRuler в spaCy Exercise 11: spaCy Matcher и PhraseMatcher Exercise 12: Поиск одного термина с помощью Matcher в spaCy Exercise 13: PhraseMatcher в spaCy Exercise 14: Расширенный синтаксис сопоставления в spaCy

Рассмотрите реальные сценарии, в которых модели spaCy могут давать ошибки, и научитесь дообучать их для повышения качества. Вы познакомитесь с этапами обучения в spaCy, освоите дообучение существующей модели и обучение с нуля, а также научитесь оценивать модель на этапе инференса.

Exercise 1: Настройка моделей spaCy Exercise 2: Обучение моделей spaCy Exercise 3: Качество работы модели на ваших данных Exercise 4: Формат обучающих данных в spaCy Exercise 5: Шаги обучения Exercise 6: Аннотирование данных и подготовка обучающей выборки Exercise 7: Совместимые обучающие данные Exercise 8: Обучение с помощью spaCy Exercise 9: Подготовка к обучению Exercise 10: Обучение существующей модели NER Exercise 11: Обучение модели spaCy с нуля Exercise 12: Подведение итогов