RAG с Mistral AI и Azure AI Search

О чём урок

Этот notebook демонстрирует, как интегрировать Mistral Embeddings с Azure AI Search в качестве векторного хранилища и использовать полученные результаты для обоснования ответов в Mistral Chat Completion Model. Ключ API Mistral AI ИЛИ развернутая модель Mistral Chat Completion Model в Azure AI Studio и ключ API Azure AI Studio Сервис Azure AI Search Среда Python 3.x с установленными необходимыми библиотеками Установить необходимые пакеты Загрузить данные и сгенерировать Mistral embeddings Индексировать embeddings в Azure AI Search Выполнить поиск с использованием Azure AI Search Обосновать результаты поиска в Mistral Chat Completion Model У нас есть 10K chunks, где каждый chunk примерно равен по длине 1-2 абзацам. Вот пример одной записи: Отформатируем данные в нужный нам формат, который будет содержать id, title, content (который мы будем использовать для embedding), и arxiv_id. Нам необходимо определить embedding модель для создания наших embedding векторов для извлечения; для этого мы будем использовать mistral-embed от Mistral AI. С этой моделью связаны определенные затраты, поэтому имейте это в виду (затраты на запуск этого notebook составляют менее $1). Мы можем просмотреть размерность наших полученных embeddings, которая скоро понадобится нам при инициализации нашего векторного индекса: Теперь мы создаем нашу vector DB для хранения векторов. Для этого нам необходимо настроить сервис Azure AI Search. Существует два способа аутентификации в Azure AI Search: Ключ сервиса: Ключ сервиса можно найти в разделе "Settings -> Keys" в левой навигационной панели панели управления портала Azure. Убедитесь, что выбран ключ ADMIN. Managed Identity: Использование Microsoft Entra ID (ранее Azure Active Directory) является более безопасным и рекомендуемым способом аутентификации. Вы можете следовать инструкциям в официальной документации Microsoft для настройки Managed Identity. Для получения более подробных инструкций по созданию сервиса Azure AI Search, пожалуйста, обратитесь к официальной документации Microsoft. Согласно информации из Mistral Tokenizer от Lunary.ai, один token примерно эквивалентен пяти символам текста.

План урока

1. Обзор
2. Предварительные требования
3. Шаги
4. Установка необходимых пакетов
5. Загрузка данных и генерация Mistral embeddings
6. Индексирование embeddings в Azure AI Search
7. Аутентификация в Azure AI Search
8. Создание векторного индекса