TF-IDF за замовчуванням створює стовпчик для кожного слова в усіх ваших документах (у нашому випадку — у коротких описах фільмів). Це призводить до величезного й малозрозумілого набору даних, адже він міститиме як дуже поширені слова, що трапляються в кожному документі, так і надзвичайно рідкісні слова, які не допомагають знаходити схожість між елементами.

У цій вправі ви працюватимете з датафреймом df_plots. У стовпчику Title зберігаються назви фільмів, а в стовпчику Plot — їхні сюжети.

Використавши цей датафрейм, ви згенеруєте стандартні оцінки TF-IDF і перевірите, чи присутні непотрібні стовпчики.

Далі ви повторно запустите обчислення TF-IDF, цього разу обмеживши кількість стовпчиків за допомогою аргументів min_df і max_df, і, сподіваємося, побачите покращення.

Вступ до контент-орієнтованих рекомендацій

Create Your Free Account