Tạo một phép đánh giá Ragas

Để đánh giá bằng ragas, bạn sẽ cần chọn một LLM, tạo bộ dữ liệu đánh giá và chọn tập chỉ số để đánh giá. Như bạn đã học trong video trước, hai chỉ số quan trọng của Graph RAG là context precision và noise sensitivity.

Một llm đã được định nghĩa sẵn cho bạn, cùng với các kết quả ví dụ (cypher_result) cho thấy sự khác biệt giữa truy xuất vector thuần, text-to-cypher và truy xuất lai.

Bài tập này là một phần của khóa học

Graph RAG với LangChain và Neo4j

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Create an evaluation LLM
evaluator_llm = ____(llm)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Graph RAG với LangChain và Neo4j

SkillTag.level.advancedSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Tìm hiểu cách Graph RAG có thể nâng cao độ chính xác và độ tin cậy của các ứng dụng RAG! Lưu trữ thông tin dưới dạng các nút và cạnh trong cơ sở dữ liệu Neo4j, và trao cho LLM khả năng truy vấn để nó có thể truy xuất thông tin về thực thể và mối quan hệ nhằm đưa ra câu trả lời có căn cứ.

Exercise 1: Đồ thị và RAG Exercise 2: Tạo nodes Exercise 3: Tạo quan hệ Exercise 4: Lưu graph document Exercise 5: Truy vấn đồ thị tri thức Exercise 6: Viết câu lệnh Cypher Exercise 7: Chạy câu lệnh Cypher Exercise 8: Mệnh đề MERGE Exercise 9: Graph RAG chuyển văn bản thành Cypher với Neo4j Exercise 10: Xây dựng chain chuyển văn bản thành Cypher Exercise 11: Chuỗi truy xuất Text-to-Cypher

Ứng dụng Text-to-Cypher hoạt động tốt trong nhiều trường hợp, nhưng chúng ta còn có thể làm tốt hơn! Khám phá cách xây dựng cơ sở dữ liệu đồ thị bằng các mô hình đồ thị khác nhau, bao gồm đồ thị từ vựng (lexical) và đồ thị miền (domain). Tạo các chỉ mục vector trong Neo4j để bạn có thể tận dụng cả hai thế giới và chạy truy xuất đồ thị lẫn vector đồng thời!

Exercise 1: Đồ thị từ vựng Exercise 2: Thành phần của đồ thị từ vựng Exercise 3: Tách vở kịch theo Hồi (Acts)Exercise 4: Tạo một lexical graph theo phân cấp Exercise 5: Kết hợp đồ thị từ vựng với tìm kiếm vector Exercise 6: Tạo các đoạn văn bản (chunks)Exercise 7: Tạo chỉ mục vector Exercise 8: Đồ thị miền Exercise 9: Tạo đầu ra có cấu trúc Exercise 10: Yêu cầu đầu ra có cấu trúc Exercise 11: Cung cấp ví dụ few-shot Exercise 12: Xây dựng một chuỗi truy xuất lai Exercise 13: Runnable lambda Exercise 14: Gán thêm giá trị cho một input Exercise 15: Mắt xích cuối cùng trong chuỗi

Mặc dù các ứng dụng Graph RAG thường đáng tin cậy hơn vector RAG, chúng không hoàn toàn không sai sót. Trong chương này, bạn sẽ học cách đánh giá ứng dụng Graph RAG của mình, phát hiện các nút đồ thị sai hoặc trùng lặp, và tích hợp bộ nhớ dài hạn để sở thích của người dùng có thể được học theo thời gian.

Exercise 1: Phân giải thực thể Exercise 2: Sử dụng thực thể đã trích xuất Exercise 3: Giải quyết thực thể dựa trên đồ thị Exercise 4: Đánh giá Graph RAG với RAGAS Exercise 5: Tạo một phép đánh giá Ragas

Bài tập hiện tại

Exercise 6: Đánh giá truy xuất ngữ cảnh với Ragas Exercise 7: Đồ thị bộ nhớ Exercise 8: Lưu bộ nhớ hội thoại trong đồ thị Exercise 9: Trích xuất sự kiện từ lịch sử hội thoại Exercise 10: Sử dụng các thông tin hội thoại đã trích xuất Exercise 11: Chúc mừng bạn!