О чём урок
Этот Notebook содержит инструкции по настройке трассировки на основе OpenTelemetry для Mistral с Langtrace AI.
Цель этого Notebook — продемонстрировать простое RAG-приложение, где вы можете общаться с PDF-файлом Конституции Соединенных Штатов.
Создайте коллекцию Chroma, указав функцию embedding по умолчанию, которая будет использоваться в нашем RAG при вставке фрагментов PDF.
- получить запрос от пользователя, найти 3 ближайших результата из фрагментированного PDF
- сформировать структуру prompt
- Передать запрос и prompt в Mistral для получения фактического ответа
Вот и всё! Теперь вы сможете увидеть трассировки для всех ваших вызовов inference в Langtrace!
- Вы можете увидеть, какой именно prompt извлекается из chromadb и отправляется в Mistral, а также ответ
План урока
- Импорты & Инициализация клиентов
- Использование Langchain для разделения PDF на фрагменты
- Настройка Chroma & Вставка фрагментов PDF
- Запрос к коллекции
- Запуск всего вместе и мониторинг с использованием Langtrace.
- Первые два скриншота демонстрируют структуру трассировки и span всего RAG-приложения.
- Вторые два скриншота — это детали выполнения Mistral.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.