BM25 के साथ स्पार्स रिट्रीवल
अब स्पार्स रिट्रीवल को आज़माने का समय है! आप एक BM25 retriever बनाएँगे ताकि RAG पर एक अकादमिक पेपर के बारे में सवाल पूछ सकें, जिसे पहले ही chunks नामक हिस्सों में बाँटा जा चुका है. एक OpenAI चैट मॉडल और प्रॉम्प्ट भी क्रमशः llm और prompt के रूप में परिभाषित हैं. आप कंसोल में प्रिंट करके दिए गए prompt को देख सकते हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
LangChain के साथ Retrieval Augmented Generation (RAG)
अभ्यास निर्देश
chunksमें संग्रहीत डॉक्यूमेंट्स से एक BM25 स्पार्स retriever बनाएँ; उसे retrieval में5डॉक्यूमेंट्स लौटाने के लिए कॉन्फ़िगर करें.- दिए गए
llmऔरpromptके साथ BM25 retriever को इंटीग्रेट करने के लिए एक LCEL retrieval chain बनाएँ.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create a BM25 retriever from chunks
retriever = ____
# Create the LCEL retrieval chain
chain = ({"context": ____, "question": ____}
| ____
| ____
| StrOutputParser()
)
print(chain.invoke("What are knowledge-intensive tasks?"))