Мониторинг LlamaIndex и Mistral через PostHog и Langfuse

О чём урок

Документация | GitHub | Discord В этом руководстве мы покажем, как создать RAG приложение с помощью LlamaIndex, отслеживать шаги с Langfuse и анализировать данные в PostHog. Langfuse — это платформа для LLM инжиниринга с открытым исходным кодом. Она включает такие функции, как traces, evals и prompt management, чтобы помочь вам отлаживать и улучшать ваше LLM приложение. LlamaIndex (GitHub) — это фреймворк для работы с данными, разработанный для подключения LLM к внешним источникам данных. Он помогает эффективно структурировать, индексировать и запрашивать данные. Это упрощает разработчикам создание продвинутых LLM приложений. PostHog — популярный выбор для продуктовой аналитики. Объединение LLM аналитики Langfuse с продуктовой аналитикой PostHog позволяет легко отвечать на вопросы о вашем приложении, такие как: "Каковы мои затраты на LLM по клиентам, моделям и в целом?" "Коррелирует ли взаимодействие с функциями LLM с другими метриками (удержание, использование, доход и т.д.)?" "Как пользовательский фидбек, который я собираю в Langfuse, коррелирует с поведением пользователей в PostHog?" В этом примере мы создаем чат-приложение, которое отвечает на вопросы об уходе за ежами. LlamaIndex векторизует руководство по уходу за ежами, используя модель Mistral 8x22B. Затем все генерации модели отслеживаются с помощью интеграции Langfuse для LlamaIndex. Наконец, интеграция с PostHog позволяет просматривать подробную аналитику о вашем приложении для ежей непосредственно в PostHog. Сначала мы устанавливаем наш API key Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь в Mistral. Затем подпишитесь на бесплатную пробную версию или тарифный план, после чего вы сможете сгенерировать API key (💡 Вы можете использовать любую другую модель, поддерживаемую LlamaIndex; в этом руководстве мы просто используем Mistral). Затем мы используем LlamaIndex для инициализации как языковой модели Mistral, так и модели embedding. После этого мы устанавливаем эти модели в объекте LlamaIndex Settings: Далее мы инициализируем клиент Langfuse. Зарегистрируйтесь в Langfuse, если вы еще этого не сделали.

План урока

1. Что такое Langfuse?
2. Что такое LlamaIndex?
3. Что такое PostHog?
4. Как создать простое RAG приложение с LlamaIndex и Mistral
5. Шаг 1: Настройка LlamaIndex и Mistral
6. Шаг 2: Инициализация Langfuse
7. Шаг 3: Загрузка данных
8. Шаг 4: Создание RAG на основе документа о ежах