1. Lernen
    2. /
  2. Kurse
    3. /
  3. Introduction au traitement du langage naturel en Python
  • 1

    Expressions régulières et symbolisation des mots

    Kostenlos

    Ce chapitre présente quelques concepts de base de NLP, tels que la tokenisation des mots et les expressions régulières pour aider à analyser le texte. Vous apprendrez également à gérer les textes non anglophones et la tokenisation plus difficile que vous pourriez trouver.

  • 2

    Identification simple du sujet

    Ce chapitre vous présente l'identification des sujets, que vous pouvez appliquer à tous les textes que vous rencontrez dans la nature. En utilisant les modèles de base de NLP, vous identifierez les thèmes des textes en fonction de la fréquence des termes. Vous expérimenterez et comparerez deux méthodes simples : bag-of-words et Tf-idf en utilisant NLTK, et une nouvelle bibliothèque Gensim.

  • 3

    Reconnaissance d'entités nommées

    Ce chapitre présente un sujet un peu plus avancé : la reconnaissance des entités nommées. Vous apprendrez à identifier le qui, le quoi et le où de vos textes à l'aide de modèles pré-entraînés sur des textes anglais et non-anglais. Vous apprendrez également à utiliser de nouvelles bibliothèques, polyglot et spaCy, pour compléter votre boîte à outils NLP.

  • 4

    Construire un classificateur de "fake news" (fausses nouvelles)

    Vous appliquerez les bases de ce que vous avez appris ainsi qu'un peu d'apprentissage automatique supervisé pour construire un détecteur de "fake news". Vous commencerez par apprendre les bases de l'apprentissage automatique supervisé, puis vous choisirez quelques caractéristiques importantes et testerez des idées pour identifier et classer les articles de fausses nouvelles.

Initializing

Ubung

Entraînement et test du modèle "fake news" avec TfidfVectorizer

Maintenant que vous avez évalué le modèle à l'aide de CountVectorizer, vous allez faire de même en utilisant TfidfVectorizer avec un modèle Naive Bayes.

Les ensembles de formation et de test ont été créés, et tfidf_vectorizer, tfidf_train, et tfidf_test ont été calculés. En outre, MultinomialNB et metrics ont été importés respectivement de sklearn.naive_bayes et sklearn.

Anweisungen

100 XP
  • Instanciez un classificateur MultinomialNB appelé nb_classifier.
  • Ajustez le classificateur aux données d'apprentissage.
  • Calculez les étiquettes prédites pour les données de test.
  • Calculez et imprimez le score de précision du classificateur.
  • Calculez la matrice de confusion. Comme dans l'exercice précédent, spécifiez l'argument mot-clé labels=['FAKE', 'REAL'] afin que la matrice de confusion résultante soit plus facile à lire.