Мультимодальный RAG с Weaviate

Это упражнение является частью курса

Сквозной RAG с Weaviate

Инструкции к упражнению

Создайте экземпляр модели ColIdefics3 и соответствующего процессора, затем получите эмбеддинг (векторное представление) для переданного запроса (query).
Используйте query_embedding, чтобы выполнить векторный поиск по коллекции pages и вернуть топ-3 изображения страниц.
Создайте мультимодальный запрос, используя свойство изображения "page_image", и вместе с query_embedding выполните запрос к коллекции страниц.

Примечание: если вы запускаете DataLab в ограниченном режиме, это упражнение пока не поддерживается. Мы активно работаем над тем, чтобы сделать его доступным в будущем.

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Сквозной RAG с Weaviate

SkillTag.level.intermediateSkillTag.label

4.6+

19 reviews

Реализация RAG-рабочих процессов вручную — полезный опыт, однако при таком подходе вы можете упустить оптимизации, которые предоставляют инструменты вроде Weaviate. В этой главе вы выполните создание векторных представлений, сохранение, поиск и генерацию ответов — всё это с помощью Weaviate!

Exercise 1: RAG-процессы с Weaviate Exercise 2: Извлечение текста из PDF и разбивка на фрагменты Exercise 3: Начало работы с Weaviate Exercise 4: Запросы в Weaviate Exercise 5: RAG от начала до конца

В предыдущей главе для формирования фрагментов документа вы использовали только текстовое содержимое PDF-файлов, оставив изображения за кадром. Из-за этого теряется немало контекста, который мог бы оказаться полезным при поиске и генерации. В этой главе вы воспользуетесь мультимодальными моделями ColPali, чтобы создавать векторные представления текста и изображений и тем самым обогащать ответы модели дополнительным контекстом.

Exercise 1: RAG с текстом и изображениями Exercise 2: Подготовка к мультимодальному RAG Exercise 3: Мультимодальный RAG с Weaviate

Текущее упражнение

Exercise 4: Поздравляем!