Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 96 · Текст · ~5 мин

Мониторинг LlamaIndex и Mistral через PostHog и Langfuse

Урок 96 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Документация | GitHub | Discord

В этом руководстве мы покажем, как создать RAG приложение с помощью LlamaIndex, отслеживать шаги с Langfuse и анализировать данные в PostHog.

Langfuse — это платформа для LLM инжиниринга с открытым исходным кодом. Она включает такие функции, как traces, evals и prompt management, чтобы помочь вам отлаживать и улучшать ваше LLM приложение.

LlamaIndex (GitHub) — это фреймворк для работы с данными, разработанный для подключения LLM к внешним источникам данных. Он помогает эффективно структурировать, индексировать и запрашивать данные. Это упрощает разработчикам создание продвинутых LLM приложений.

PostHog — популярный выбор для продуктовой аналитики. Объединение LLM аналитики Langfuse с продуктовой аналитикой PostHog позволяет легко отвечать на вопросы о вашем приложении, такие как:

  • "Каковы мои затраты на LLM по клиентам, моделям и в целом?"
  • "Коррелирует ли взаимодействие с функциями LLM с другими метриками (удержание, использование, доход и т.д.)?"
  • "Как пользовательский фидбек, который я собираю в Langfuse, коррелирует с поведением пользователей в PostHog?"

В этом примере мы создаем чат-приложение, которое отвечает на вопросы об уходе за ежами. LlamaIndex векторизует руководство по уходу за ежами, используя модель Mistral 8x22B. Затем все генерации модели отслеживаются с помощью интеграции Langfuse для LlamaIndex.

Наконец, интеграция с PostHog позволяет просматривать подробную аналитику о вашем приложении для ежей непосредственно в PostHog.

Сначала мы устанавливаем наш API key Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь в Mistral. Затем подпишитесь на бесплатную пробную версию или тарифный план, после чего вы сможете сгенерировать API key (💡 Вы можете использовать любую другую модель, поддерживаемую LlamaIndex; в этом руководстве мы просто используем Mistral).

Затем мы используем LlamaIndex для инициализации как языковой модели Mistral, так и модели embedding. После этого мы устанавливаем эти модели в объекте LlamaIndex Settings:

Далее мы инициализируем клиент Langfuse. Зарегистрируйтесь в Langfuse, если вы еще этого не сделали.

Наконец, мы регистрируем LlamaIndexCallbackHandler Langfuse в Settings.callback_manager LlamaIndex в…

План урока

  1. Что такое Langfuse?
  2. Что такое LlamaIndex?
  3. Что такое PostHog?
  4. Как создать простое RAG приложение с LlamaIndex и Mistral
  5. Шаг 1: Настройка LlamaIndex и Mistral
  6. Шаг 2: Инициализация Langfuse
  7. Шаг 3: Загрузка данных
  8. Шаг 4: Создание RAG на основе документа о ежах

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды