TfidfVectorizer pour la classification de texte
Comme pour le CountVectorizer épars créé à l'exercice précédent, vous allez créer des vecteurs tf-idf pour vos documents. Vous configurerez un TfidfVectorizer et explorerez certaines de ses fonctionnalités.
Dans cet exercice, vous utiliserez pandas et sklearn ainsi que les mêmes DataFrame et Series X_train, y_train et X_test, y_test que vous avez créés au dernier exercice.
Cette activité fait partie du cours
Introduction au traitement du langage naturel en Python
Instructions de l’exercice
- Importez
TfidfVectorizerdepuissklearn.feature_extraction.text. - Créez un objet
TfidfVectorizernommétfidf_vectorizer. Pour ce faire, indiquez les arguments nommésstop_words="english"etmax_df=0.7. - Ajustez et transformez les données d'entraînement.
- Transformez les données de test.
- Affichez les 10 premières caractéristiques de
tfidf_vectorizer. - Affichez les 5 premiers vecteurs des données d'entraînement tf-idf en utilisant un découpage sur l'attribut
.A(ou array) detfidf_train.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import TfidfVectorizer
____
# Initialize a TfidfVectorizer object: tfidf_vectorizer
tfidf_vectorizer = ____
# Transform the training data: tfidf_train
tfidf_train = ____
# Transform the test data: tfidf_test
tfidf_test = ____
# Print the first 10 features
print(____[:10])
# Print the first 5 vectors of the tfidf training data
print(____[:5])