Multi-Modal RAG у Weaviate

Ця вправа є частиною курсу

Повний цикл RAG з Weaviate

Інструкції до вправи

Ініціалізуйте модель ColIdefics3 разом із відповідним процесором і виконайте вкладення (embeddings — векторні представлення) для наданого запиту (query).
Використайте query_embedding, щоб здійснити пошук у колекції pages за допомогою векторного пошуку та повернути перші 3 зображення сторінок.
Створіть мультимодальний підказ (prompt) із використанням властивості зображення "page_image" і застосуйте його разом із query_embedding, щоб виконати запит до колекції сторінок.

Примітка: якщо ви запускаєте DataLab у режимі Restricted Mode, ця вправа поки що не підтримується. Ми активно працюємо над тим, щоб зробити її доступною в майбутньому.

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Повний цикл RAG з Weaviate

SkillTag.level.intermediateSkillTag.label

4.7+

18 reviews

Дізнайтеся, як Weaviate дає змогу створювати застосунки RAG! Ви власноруч зберете робочий процес RAG від початку до кінця, щоб ознайомитися з етапами «пошук — доповнення — генерація». Це розуміння допоможе будувати надійні й оптимізовані робочі процеси RAG у Розділі 2 з використанням Weaviate.

Exercise 1: Від RAG до вищого рівня!Exercise 2: Генерація тексту за допомогою LLM Exercise 3: Створення текстових вкладень Exercise 4: Порівняння вкладень тексту Exercise 5: Поєднуємо «R», «A», «G»

Хоч кодити робочі процеси RAG власноруч і цікаво, ви можете втрачати оптимізації, які надають такі інструменти, як Weaviate. У цьому розділі ви виконуватимете вбудовування, зберігання, пошук і генерацію відповідей — усе за допомогою Weaviate!

Exercise 1: RAG‑робочі процеси з Weaviate Exercise 2: Витяг і нарізання тексту з PDF Exercise 3: Початкове налаштування Weaviate Exercise 4: Запити у Weaviate Exercise 5: RAG зверху донизу

У попередньому розділі ви використовували текстовий вміст із PDF-документів, щоб сформувати фрагменти документів, але залишили поза увагою зображення. Через це втрачається багато контексту, який може бути корисним для пошуку та генерації! У цьому розділі ви застосуєте мультимодальні моделі ColPali, щоб вбудовувати та генерувати текст і зображення й надавати більше контексту для відповідей вашої моделі.

Exercise 1: RAG з текстом та зображеннями Exercise 2: Підготовка до Multi-Modal RAG Exercise 3: Multi-Modal RAG у Weaviate

Поточна вправа

Exercise 4: Вітаємо!