Підготовка до Multi-Modal RAG

Ця вправа є частиною курсу

Повний цикл RAG з Weaviate

Інструкції до вправи

Ініціалізуйте модель і відповідний процесор, щоб обчислити текстові та зображеньні вкладення (embeddings — векторні представлення).
Попередньо обробіть вхідні зображення та згенеруйте їхні вкладення за допомогою визначених вами model і processor.
Створіть і використайте колекцію "Pages" для зберігання сторінок PDF і їхніх вкладень.
Додайте вкладення зображень до колекції "Pages" і закрийте з'єднання.

Примітка: якщо ви запускаєте DataLab у режимі Restricted Mode, ця вправа поки що не підтримується. Ми активно працюємо над тим, щоб зробити її доступною в майбутньому.

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Повний цикл RAG з Weaviate

SkillTag.level.intermediateSkillTag.label

4.7+

18 reviews

Дізнайтеся, як Weaviate дає змогу створювати застосунки RAG! Ви власноруч зберете робочий процес RAG від початку до кінця, щоб ознайомитися з етапами «пошук — доповнення — генерація». Це розуміння допоможе будувати надійні й оптимізовані робочі процеси RAG у Розділі 2 з використанням Weaviate.

Exercise 1: Від RAG до вищого рівня!Exercise 2: Генерація тексту за допомогою LLM Exercise 3: Створення текстових вкладень Exercise 4: Порівняння вкладень тексту Exercise 5: Поєднуємо «R», «A», «G»

Хоч кодити робочі процеси RAG власноруч і цікаво, ви можете втрачати оптимізації, які надають такі інструменти, як Weaviate. У цьому розділі ви виконуватимете вбудовування, зберігання, пошук і генерацію відповідей — усе за допомогою Weaviate!

Exercise 1: RAG‑робочі процеси з Weaviate Exercise 2: Витяг і нарізання тексту з PDF Exercise 3: Початкове налаштування Weaviate Exercise 4: Запити у Weaviate Exercise 5: RAG зверху донизу

У попередньому розділі ви використовували текстовий вміст із PDF-документів, щоб сформувати фрагменти документів, але залишили поза увагою зображення. Через це втрачається багато контексту, який може бути корисним для пошуку та генерації! У цьому розділі ви застосуєте мультимодальні моделі ColPali, щоб вбудовувати та генерувати текст і зображення й надавати більше контексту для відповідей вашої моделі.

Exercise 1: RAG з текстом та зображеннями Exercise 2: Підготовка до Multi-Modal RAG

Поточна вправа

Exercise 3: Multi-Modal RAG у Weaviate Exercise 4: Вітаємо!