Поиск по файлам в Responses API

О чём урок

Хотя RAG может быть сложным, поиск по PDF-файлам не должен быть затруднительным. Одним из наиболее распространенных на данный момент подходов является парсинг ваших PDF, определение стратегий разбиения на чанки, загрузка этих чанков в хранилище, запуск создания embedding для этих текстовых чанков и сохранение этих embedding в векторной базе данных. И это только настройка — извлечение контента в нашем LLM-рабочем процессе также требует нескольких шагов. Именно здесь на помощь приходит поиск по файлам — размещенный инструмент, который можно использовать в Responses API. Он позволяет искать по вашей базе знаний и генерировать ответ на основе извлеченного контента. В этом руководстве мы загрузим эти PDF в векторное хранилище OpenAI и используем поиск по файлам для получения дополнительного контекста из этого векторного хранилища, чтобы ответить на вопросы, которые мы сгенерировали на первом шаге. Затем мы сначала создадим небольшой набор вопросов на основе PDF, извлеченных из блога OpenAI (openai.com/news). Поиск по файлам ранее был доступен в Assistants API. Теперь он доступен в новом Responses API, API, который может быть stateful или stateless, и с новыми функциями, такими как фильтрация метаданных Мы создадим Vector Store в OpenAI API и загрузим наши PDF в этот Vector Store. OpenAI прочитает эти PDF, разделит содержимое на несколько текстовых чанков, создаст embedding для них и сохранит эти embedding и текст в Vector Store. Это позволит нам запрашивать этот Vector Store для получения релевантного контента на основе запроса. Теперь, когда наш vector store готов, мы можем напрямую запрашивать Vector Store и извлекать релевантный контент для конкретного запроса. Используя новый vector search API, мы можем находить релевантные элементы в нашей базе знаний, не обязательно интегрируя их в LLM-запрос. Мы видим, что поисковый запрос вернул контент разного размера (и, по сути, разные тексты). Все они имеют различные оценки релевантности, которые рассчитываются нашим ранжировщиком, использующим гибридный поиск.

План урока

1. Генерация оценок
2. Оценка