Créer un système de complétion de recherche

La complétion de recherche, ou l’auto-complétion, est une application courante du NLP utilisée dans les moteurs de recherche et les applications de messagerie. L’objectif est de suggérer des complétions possibles à partir de la saisie partielle d’un utilisateur. Votre tâche consiste à utiliser le pipeline "text-generation" de Hugging Face pour implémenter un système d’auto-complétion basique qui génère des complétions pertinentes à partir de la requête de l’utilisateur.

Cet exercice fait partie du cours

Natural Language Processing (NLP) in Python

Afficher le cours

Instructions

Créez un pipeline d’autocomplete avec le modèle "distilgpt2".
Générez cinq suggestions de requêtes de recherche pour l’prompt donné, en limitant chacune à un maximum de huit jetons.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

from transformers import pipeline

# Create the pipeline
autocomplete = pipeline(task="____", model="____")

prompt = "Best books to read for"

# Generate search query completions
suggestions = ____

for suggestion in suggestions:
    print(suggestion['generated_text'])

Modifier et exécuter le code

Cet exercice fait partie du cours

Natural Language Processing (NLP) in Python

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Apprenez l’essentiel du traitement de texte en Natural Language Processing (NLP). Maîtrisez la tokenisation, la suppression des stop words et de la ponctuation, ainsi que la normalisation du texte avec la mise en minuscules, le stemming et la lemmatisation, afin de préparer vos données textuelles pour des analyses plus poussées et l’extraction d’insights.

Exercise 1: Introduction au traitement automatique du langage naturel Exercise 2: Tokenisation des phrases et des mots Exercise 3: Flux de travail en NLP Exercise 4: Gestion des stop words et de la ponctuation Exercise 5: Suppression des mots vides Exercise 6: Supprimer la ponctuation Exercise 7: Techniques de normalisation du texte Exercise 8: Mise en minuscules Exercise 9: Stemming Exercise 10: Lemmatisation

Transformez du texte brut en puissantes caractéristiques numériques. Créez des représentations Bag-of-Words et TF-IDF pour capturer l’importance des mots dans les documents, puis explorez des embeddings comme Word2Vec et GloVe pour révéler des structures sémantiques profondes. Visualisez la fréquence, la pertinence et la similarité pour donner vie à vos données textuelles.

Exercise 1: Représentation Bag-of-Words Exercise 2: Construire le vocabulaire à partir d’avis clients Exercise 3: Transformer du texte en nombres avec BoW Exercise 4: Analyse de fréquence des avis produits Exercise 5: Visualiser les fréquences des mots Exercise 6: Vectorisation TF-IDF Exercise 7: Représentation TF‑IDF des avis produit Exercise 8: Comparer les représentations BoW et TF-IDF Exercise 9: Embeddings Exercise 10: Explorer les relations entre les mots avec des embeddings Exercise 11: Visualiser et comparer des word embeddings

Exploitez la puissance des modèles préentraînés pour réaliser des tâches avancées de classification de texte. Utilisez les pipelines Hugging Face pour l’analyse de sentiment, la classification thématique et l’inférence en langage naturel. Évaluez la similarité sémantique et la correction grammaticale avec des modèles de pointe, sans avoir à tout construire vous-même.

Exercise 1: Pipelines Hugging Face pour l’analyse de sentiments Exercise 2: Analyser le sentiment d’un avis Exercise 3: Classer en lot plusieurs avis Exercise 4: Comparer des modèles sur des avis étiquetés Exercise 5: Classification zero-shot et QNLI Exercise 6: Classification zero-shot des tickets de support Exercise 7: Le texte répond‑il à la question ?Exercise 8: Similarité des questions et acceptabilité grammaticale Exercise 9: Détecter les questions en double Exercise 10: Vérifier la correction grammaticale

Plongez au cœur des applications modernes du NLP avec la classification par tokens et les techniques de génération de texte. Apprenez à extraire des entités et des structures grammaticales pertinentes grâce à la NER et à l’étiquetage PoS. Maîtrisez le question answering extractif et abstractive, et explorez des tâches de génération avancées comme le résumé, la traduction et le language modeling à l’aide des pipelines Hugging Face.

Exercise 1: Classification de tokens Exercise 2: Identifier les entités nommées dans des titres d’actualité Exercise 3: Étiquetage morpho-syntaxique (PoS) pour l’analyse de texte Exercise 4: Question-réponse Exercise 5: Répondre aux questions à partir de descriptions de produits Exercise 6: Générer des réponses naturelles avec le QA abstractive Exercise 7: Tâches de génération de séquences Exercise 8: Résumer des articles d’actualité pour aller à l’essentiel Exercise 9: Traduire des avis clients en français Exercise 10: Créer un système de complétion de recherche

Exercice en cours

Exercise 11: Félicitations