1. Обучение
    2. /
  2. Курса
    3. /
  3. Векторные базы данных для эмбеддингов с Pinecone
Connected

Упражнение

Загрузка транскриптов YouTube

В следующих упражнениях вы создадите чат-бот, который отвечает на вопросы о видео на YouTube — для этого транскрипты видео и дополнительные метаданные будут загружены в ваш индекс 'pinecone-datacamp'.

Для начала подготовьте данные из файла youtube_rag_data.csv и загрузите векторы со всеми метаданными в индекс 'pinecone-datacamp'. Данные представлены в DataFrame youtube_df.

Вот пример транскрипта из DataFrame youtube_df:

id: 
35Pdoyi6ZoQ-t0.0

title:
Training and Testing an Italian BERT - Transformers From Scratch #4

text: 
Hi, welcome to the video. So this is the fourth video in a Transformers from Scratch 
mini series. So if you haven't been following along, we've essentially covered what 
you can see on the screen. So we got some data. We built a tokenizer with it...

url: 
https://youtu.be/35Pdoyi6ZoQ

published: 
01-01-2024

Инструкции

100 XP
  • Инициализируйте клиент Pinecone, используя ваш API-ключ (клиент OpenAI доступен как client).
  • Извлеките метаданные 'id', 'text', 'title', 'url' и 'published' из каждой строки row.
  • Закодируйте texts с помощью модели 'text-embedding-3-small' от OpenAI.
  • Загрузите векторы и метаданные в пространство имён 'youtube_rag_dataset'.