Створіть екземпляр моделі TF-IDF
TF-IDF за замовчуванням створює стовпчик для кожного слова в усіх ваших документах (у нашому випадку — у коротких описах фільмів). Це призводить до величезного й малозрозумілого набору даних, адже він міститиме як дуже поширені слова, що трапляються в кожному документі, так і надзвичайно рідкісні слова, які не допомагають знаходити схожість між елементами.
У цій вправі ви працюватимете з датафреймом df_plots. У стовпчику Title зберігаються назви фільмів, а в стовпчику Plot — їхні сюжети.
Використавши цей датафрейм, ви згенеруєте стандартні оцінки TF-IDF і перевірите, чи присутні непотрібні стовпчики.
Далі ви повторно запустите обчислення TF-IDF, цього разу обмеживши кількість стовпчиків за допомогою аргументів min_df і max_df, і, сподіваємося, побачите покращення.
Ця вправа є частиною курсу
Створення систем рекомендацій у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
from sklearn.feature_extraction.text import TfidfVectorizer
# Instantiate the vectorizer object to the vectorizer variable
vectorizer = ____()
# Fit and transform the plot column
vectorized_data = vectorizer.____(df_plots['Plot'])
# Look at the features generated
print(____.____())