Instancier le modèle TF-IDF
Par défaut, TF-IDF génère une colonne pour chaque mot présent dans l'ensemble de vos documents (dans notre cas, les résumés de films). Cela crée un jeu de données énorme et difficile à interpréter, puisqu'il contiendra à la fois des mots très fréquents qui apparaissent dans tous les documents et des mots si rares qu'ils n'apportent aucune valeur pour trouver des similarités entre les éléments.
Dans cet exercice, vous allez travailler avec le DataFrame df_plots. Il contient les noms des films dans la colonne Title et leurs résumés dans la colonne Plot.
À partir de ce DataFrame, vous allez générer les scores TF-IDF par défaut et vérifier si des colonnes non pertinentes sont présentes.
Vous relancerez ensuite le calcul TF-IDF, cette fois en limitant le nombre de colonnes à l'aide des arguments min_df et max_df, afin de constater l'amélioration.
Cette activité fait partie du cours
Créer des moteurs de recommandation en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from sklearn.feature_extraction.text import TfidfVectorizer
# Instantiate the vectorizer object to the vectorizer variable
vectorizer = ____()
# Fit and transform the plot column
vectorized_data = vectorizer.____(df_plots['Plot'])
# Look at the features generated
print(____.____())