Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 15 · Текст · ~5 мин

Эмбеддинги статей Википедии для поиска

Урок 15 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook показывает, как мы подготовили набор данных из статей Википедии для поиска, используемый в Question_answering_using_embeddings.ipynb.

Процедура:

  1. Предварительные условия: Импорт библиотек, установка API key (при необходимости)
  2. Сбор: Мы загружаем несколько сотен статей Википедии о Зимних Олимпийских играх 2022 года
  3. Разбивка на чанки: Документы разбиваются на короткие, полуавтономные разделы для последующего embedding'а
  4. Embedding: Каждый раздел подвергается embedding'у с помощью OpenAI API
  5. Хранение: Embeddings сохраняются в CSV-файл (для больших наборов данных используйте векторную базу данных)

Установите любые отсутствующие библиотеки с помощью pip install в вашем терминале. Например,

(Вы также можете сделать это в ячейке notebook'а с помощью !pip install openai.)

Если вы устанавливаете какие-либо библиотеки, обязательно перезапустите ядро notebook'а.

Обратите внимание, что библиотека OpenAI попытается прочитать ваш API key из переменной окружения OPENAI_API_KEY. Если вы еще этого не сделали, установите эту переменную окружения, следуя этим инструкциям.

В этом примере мы загрузим несколько сотен статей Википедии, связанных с Зимними Олимпийскими играми 2022 года.

Теперь, когда у нас есть наши справочные документы, нам нужно подготовить их для поиска.

Поскольку GPT может читать только ограниченный объем текста за раз, мы разобьем каждый документ на чанки, достаточно короткие для чтения.

Для этого конкретного примера со статьями Википедии мы сделаем следующее:

  • Отбросим менее релевантные разделы, такие как «Внешние ссылки» и «Примечания»
  • Очистим текст, удаляя теги ссылок (например, ), пробелы и очень короткие разделы
  • Разобьем каждую статью на разделы
  • Добавим заголовки и подзаголовки к тексту каждого раздела, чтобы помочь GPT понять контекст
  • Если раздел длинный (скажем, > 1600 токенов), мы рекурсивно разобьем его на более мелкие разделы, стараясь разделять по смысловым границам, таким как абзацы

Далее мы рекурсивно разобьем длинные разделы на более мелкие.

Не существует идеального рецепта для разбивки текста на разделы.

Некоторые компромиссы включают:

  • Более длинные разделы могут быть лучше для вопросов, требующих больше контекста
  • Более длинные разделы могут быть хуже для…

План урока

  1. 0. Предварительные условия
  2. Импорт библиотек
  3. Установка API key (при необходимости)
  4. 1. Сбор документов
  5. 2. Разбивка документов на чанки
  6. 3. Embedding чанков документов
  7. 4. Хранение чанков документов и embeddings

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды