TF-IDF: частота терминов и обратная частота документов

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Конструирование признаков для машинного обучения в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы узнаете, что такое конструирование признаков, и начнёте применять его к реальным данным. Вы загрузите, исследуете и визуализируете набор данных с результатами опроса, изучите лежащие в его основе типы данных и поймёте, как они влияют на подход к созданию признаков. С помощью библиотеки pandas вы создадите новые признаки на основе как категориальных, так и непрерывных столбцов.

Exercise 1: Зачем создавать признаки?Exercise 2: Знакомство с данными Exercise 3: Выбор столбцов определённого типа данных Exercise 4: Работа с категориальными признаками Exercise 5: Унитарное кодирование и фиктивные переменные Exercise 6: Работа с редкими категориями Exercise 7: Числовые переменные Exercise 8: Бинаризация столбцов Exercise 9: Разбивка значений на интервалы

Эта глава знакомит вас с реальностью неаккуратных и неполных данных. Вы научитесь обнаруживать пропущенные значения и рассмотрите несколько подходов к работе с ними. Кроме того, вы освоите методы обработки строк для устранения нежелательных символов в наборе данных.

Exercise 1: Почему возникают пропущенные значения?Exercise 2: Насколько разрежены мои данные?Exercise 3: Поиск пропущенных значений Exercise 4: Работа с пропущенными значениями (I)Exercise 5: Построчное удаление Exercise 6: Замена пропущенных значений константами Exercise 7: Работа с пропущенными значениями (II)Exercise 8: Заполнение пропущенных значений в непрерывных данных Exercise 9: Заполнение пропусков в прогностических моделях Exercise 10: Работа с другими проблемами данных Exercise 11: Удаление лишних символов (I)Exercise 12: Работа с лишними символами (II)Exercise 13: Цепочка методов

В этой главе вы сосредоточитесь на анализе распределения данных и его влиянии на конвейер машинного обучения. Вы узнаете, как работать с асимметричными данными и как поступать в ситуациях, когда выбросы негативно сказываются на результатах анализа.

Exercise 1: Распределения данных Exercise 2: Как выглядят ваши данные? (I)Exercise 3: Как выглядят ваши данные? (II)Exercise 4: Когда преобразование данных не обязательно?Exercise 5: Масштабирование и преобразования Exercise 6: Нормализация Exercise 7: Стандартизация Exercise 8: Логарифмическое преобразование Exercise 9: В каких случаях можно применять нормализацию?Exercise 10: Удаление выбросов Exercise 11: Удаление выбросов на основе процентилей Exercise 12: Удаление статистических выбросов Exercise 13: Масштабирование и преобразование новых данных Exercise 14: Преобразования на обучающей и тестовой выборках (I)Exercise 15: Преобразования на обучающей и тестовой выборках (II)

В заключительной главе вы будете работать с неструктурированными текстовыми данными и изучите способы создания столбцовых признаков на основе текстового корпуса. Вы сравните различные подходы с точки зрения того, сколько контекста они позволяют извлечь, и научитесь находить баланс между достаточным количеством контекста и разумным числом создаваемых признаков.

Exercise 1: Кодирование текста Exercise 2: Очистка текстовых данных Exercise 3: Базовые признаки текста Exercise 4: Подсчёт слов Exercise 5: Подсчёт слов (I)Exercise 6: Подсчёт слов (II)Exercise 7: Ограничение количества признаков Exercise 8: Из текста в DataFrame Exercise 9: TF-IDF: частота терминов и обратная частота документов

Текущее упражнение

Exercise 10: Tf-idf Exercise 11: Анализ значений Tf-idf Exercise 12: Преобразование новых данных Exercise 13: N-граммы Exercise 14: Использование длинных n-грамм Exercise 15: Поиск наиболее часто встречающихся слов Exercise 16: Подведение итогов