Аналогии и векторные операции

Векторные представления слов способны передавать семантику и поддерживать векторные операции и словесные аналогии. Словесная аналогия — это семантическая связь между парой слов. В этом упражнении вы отработаете понимание аналогий и векторных операций.

Examples of word vectors relationships

Это упражнение является частью курса

Обработка естественного языка с помощью spaCy

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Обработка естественного языка с помощью spaCy

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с NLP и некоторыми его задачами — распознаванием именованных сущностей и чат-ботами на основе ИИ. Вы научитесь использовать мощную библиотеку spaCy для выполнения различных задач обработки естественного языка: токенизации, сегментации предложений, частеречной разметки и распознавания именованных сущностей.

Exercise 1: Основы обработки естественного языка (NLP)Exercise 2: Контейнер Doc в spaCy Exercise 3: Пример использования NER Exercise 4: Токенизация с помощью spaCy Exercise 5: Основы spaCy Exercise 6: Запуск конвейера spaCy Exercise 7: Лемматизация с помощью spaCy Exercise 8: Сегментация текста на предложения с помощью spaCy Exercise 9: Лингвистические признаки в spaCy Exercise 10: Разметка частей речи с помощью spaCy Exercise 11: Распознавание именованных сущностей с помощью spaCy Exercise 12: Обработка текста с помощью spaCy

Изучите лингвистические признаки, векторы слов, семантическое сходство, аналогии и операции с векторами слов. В этой главе вы узнаете, как использовать spaCy для извлечения векторов слов, классификации текстов по заданной теме и поиска семантически близких слов в корпусе или словаре модели spaCy.

Exercise 1: Лингвистические признаки Exercise 2: Лингвистические аннотации в spaCy Exercise 3: Разрешение лексической многозначности с помощью spaCy Exercise 4: Разбор зависимостей с помощью spaCy Exercise 5: Введение в векторные представления слов Exercise 6: Словарь spaCy Exercise 7: Векторы слов в словаре spaCy Exercise 8: Векторные представления слов и spaCy Exercise 9: Аналогии и векторные операции

Текущее упражнение

Exercise 10: Проекция векторов слов Exercise 11: Похожие слова в словаре Exercise 12: Измерение семантического сходства с помощью spaCy Exercise 13: Сходство документов с помощью spaCy Exercise 14: Сходство спанов в spaCy Exercise 15: Семантическое сходство для категоризации текста

Познакомьтесь с компонентами пайплайна spaCy, научитесь добавлять компоненты и анализировать NLP-пайплайн. Вы также изучите несколько подходов к извлечению информации на основе правил с использованием классов EntityRuler, Matcher и PhraseMatcher в spaCy, а также пакета RegEx для Python.

Exercise 1: Конвейеры spaCy Exercise 2: Добавление компонентов в конвейер spaCy Exercise 3: Анализ пайплайнов в spaCy Exercise 4: spaCy EntityRuler Exercise 5: EntityRuler с пустой моделью spaCy Exercise 6: EntityRuler для NER Exercise 7: EntityRuler с несколькими шаблонами в spaCy Exercise 8: RegEx и spaCy Exercise 9: RegEx в Python Exercise 10: RegEx с EntityRuler в spaCy Exercise 11: spaCy Matcher и PhraseMatcher Exercise 12: Поиск одного термина с помощью Matcher в spaCy Exercise 13: PhraseMatcher в spaCy Exercise 14: Расширенный синтаксис сопоставления в spaCy

Рассмотрите реальные сценарии, в которых модели spaCy могут давать ошибки, и научитесь дообучать их для повышения качества. Вы познакомитесь с этапами обучения в spaCy, освоите дообучение существующей модели и обучение с нуля, а также научитесь оценивать модель на этапе инференса.

Exercise 1: Настройка моделей spaCy Exercise 2: Обучение моделей spaCy Exercise 3: Качество работы модели на ваших данных Exercise 4: Формат обучающих данных в spaCy Exercise 5: Шаги обучения Exercise 6: Аннотирование данных и подготовка обучающей выборки Exercise 7: Совместимые обучающие данные Exercise 8: Обучение с помощью spaCy Exercise 9: Подготовка к обучению Exercise 10: Обучение существующей модели NER Exercise 11: Обучение модели spaCy с нуля Exercise 12: Подведение итогов