Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 19 · Текст · ~5 мин

Поиск по файлам в Responses API

Урок 19 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Хотя RAG может быть сложным, поиск по PDF-файлам не должен быть затруднительным. Одним из наиболее распространенных на данный момент подходов является парсинг ваших PDF, определение стратегий разбиения на чанки, загрузка этих чанков в хранилище, запуск создания embedding для этих текстовых чанков и сохранение этих embedding в векторной базе данных. И это только настройка — извлечение контента в нашем LLM-рабочем процессе также требует нескольких шагов.

Именно здесь на помощь приходит поиск по файлам — размещенный инструмент, который можно использовать в Responses API. Он позволяет искать по вашей базе знаний и генерировать ответ на основе извлеченного контента. В этом руководстве мы загрузим эти PDF в векторное хранилище OpenAI и используем поиск по файлам для получения дополнительного контекста из этого векторного хранилища, чтобы ответить на вопросы, которые мы сгенерировали на первом шаге. Затем мы сначала создадим небольшой набор вопросов на основе PDF, извлеченных из блога OpenAI (openai.com/news).

Поиск по файлам ранее был доступен в Assistants API. Теперь он доступен в новом Responses API, API, который может быть stateful или stateless, и с новыми функциями, такими как фильтрация метаданных

Мы создадим Vector Store в OpenAI API и загрузим наши PDF в этот Vector Store. OpenAI прочитает эти PDF, разделит содержимое на несколько текстовых чанков, создаст embedding для них и сохранит эти embedding и текст в Vector Store. Это позволит нам запрашивать этот Vector Store для получения релевантного контента на основе запроса.

Теперь, когда наш vector store готов, мы можем напрямую запрашивать Vector Store и извлекать релевантный контент для конкретного запроса. Используя новый vector search API, мы можем находить релевантные элементы в нашей базе знаний, не обязательно интегрируя их в LLM-запрос.

Мы видим, что поисковый запрос вернул контент разного размера (и, по сути, разные тексты). Все они имеют различные оценки релевантности, которые рассчитываются нашим ранжировщиком, использующим гибридный поиск.

Однако вместо того, чтобы запрашивать vector store…

План урока

  1. Генерация оценок
  2. Оценка

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды