Подготовка к мультимодальному RAG

Это упражнение является частью курса

Сквозной RAG с Weaviate

Инструкции к упражнению

Создайте экземпляры модели и соответствующего процессора для вычисления векторных представлений текста и изображений.
Выполните предобработку изображений и сгенерируйте их эмбеддинги с помощью определённых вами model и processor.
Создайте и используйте коллекцию "Pages" для хранения страниц PDF и их эмбеддингов.
Добавьте эмбеддинги изображений в коллекцию "Pages" и закройте соединение.

Примечание: если вы работаете в DataLab в режиме ограниченного доступа, это упражнение пока недоступно. Мы активно работаем над тем, чтобы сделать его доступным в будущем.

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Сквозной RAG с Weaviate

SkillTag.level.intermediateSkillTag.label

4.6+

19 reviews

Реализация RAG-рабочих процессов вручную — полезный опыт, однако при таком подходе вы можете упустить оптимизации, которые предоставляют инструменты вроде Weaviate. В этой главе вы выполните создание векторных представлений, сохранение, поиск и генерацию ответов — всё это с помощью Weaviate!

Exercise 1: RAG-процессы с Weaviate Exercise 2: Извлечение текста из PDF и разбивка на фрагменты Exercise 3: Начало работы с Weaviate Exercise 4: Запросы в Weaviate Exercise 5: RAG от начала до конца

В предыдущей главе для формирования фрагментов документа вы использовали только текстовое содержимое PDF-файлов, оставив изображения за кадром. Из-за этого теряется немало контекста, который мог бы оказаться полезным при поиске и генерации. В этой главе вы воспользуетесь мультимодальными моделями ColPali, чтобы создавать векторные представления текста и изображений и тем самым обогащать ответы модели дополнительным контекстом.

Exercise 1: RAG с текстом и изображениями Exercise 2: Подготовка к мультимодальному RAG

Текущее упражнение

Exercise 3: Мультимодальный RAG с Weaviate Exercise 4: Поздравляем!