Împărțire semantică

Toate strategiile de împărțire pe care le-ai folosit până acum au același dezavantaj: împărțirea nu ține cont de contextul textului din jur, astfel că informațiile contextuale se pot pierde cu ușurință în acest proces.

În acest exercițiu, vei crea și aplica un splitter semantic de text – o metodă experimentală de ultimă generație pentru împărțirea textului pe baza sensului semantic. Atunci când splitter-ul detectează că sensul textului s-a abătut peste un anumit prag, se va efectua o împărțire.

Instanțiază modelul de încorporări (embeddings) 'text-embedding-3-small' de la OpenAI.
Creează un splitter semantic de text care folosește gradienți vectoriali pentru a determina similaritatea semantică și valoarea 0.8 ca prag la care să se efectueze împărțirea.
Împarte document folosind splitter-ul semantic.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}exercițiu

Instrucțiuni

exercițiu