1. Apprendre
    2. /
  2. Cours
    3. /
  3. Génération augmentée par la recherche (RAG) avec LangChain
Connected

Exercice

Découpage sémantique

Toutes les stratégies de découpage que vous avez utilisées jusqu'ici ont le même inconvénient : elles ne tiennent pas compte du contexte entourant le texte, ce qui peut facilement entraîner une perte de contexte au moment du découpage.

Dans cet exercice, vous allez créer et appliquer un découpeur sémantique de texte, une méthode expérimentale de pointe qui segmente le texte selon son sens. Lorsque le découpeur détecte que le sens du texte dépasse un certain seuil, il effectue une coupure.

Instructions

100 XP
  • Instanciez le modèle d'intégration 'text-embedding-3-small' d'OpenAI.
  • Créez un découpeur sémantique de texte qui utilise des gradients de vecteurs pour déterminer la similarité sémantique et qui emploie 0.8 comme seuil de coupure.
  • Découpez le document à l'aide du découpeur sémantique.