О чём урок
Документация | GitHub | Discord
В этом руководстве мы покажем, как создать RAG приложение с помощью LlamaIndex, отслеживать шаги с Langfuse и анализировать данные в PostHog.
Langfuse — это платформа для LLM инжиниринга с открытым исходным кодом. Она включает такие функции, как traces, evals и prompt management, чтобы помочь вам отлаживать и улучшать ваше LLM приложение.
LlamaIndex (GitHub) — это фреймворк для работы с данными, разработанный для подключения LLM к внешним источникам данных. Он помогает эффективно структурировать, индексировать и запрашивать данные. Это упрощает разработчикам создание продвинутых LLM приложений.
PostHog — популярный выбор для продуктовой аналитики. Объединение LLM аналитики Langfuse с продуктовой аналитикой PostHog позволяет легко отвечать на вопросы о вашем приложении, такие как:
- "Каковы мои затраты на LLM по клиентам, моделям и в целом?"
- "Коррелирует ли взаимодействие с функциями LLM с другими метриками (удержание, использование, доход и т.д.)?"
- "Как пользовательский фидбек, который я собираю в Langfuse, коррелирует с поведением пользователей в PostHog?"
В этом примере мы создаем чат-приложение, которое отвечает на вопросы об уходе за ежами. LlamaIndex векторизует руководство по уходу за ежами, используя модель Mistral 8x22B. Затем все генерации модели отслеживаются с помощью интеграции Langfuse для LlamaIndex.
Наконец, интеграция с PostHog позволяет просматривать подробную аналитику о вашем приложении для ежей непосредственно в PostHog.
Сначала мы устанавливаем наш API key Mistral в качестве переменной окружения. Если вы еще этого не сделали, зарегистрируйтесь в Mistral. Затем подпишитесь на бесплатную пробную версию или тарифный план, после чего вы сможете сгенерировать API key (💡 Вы можете использовать любую другую модель, поддерживаемую LlamaIndex; в этом руководстве мы просто используем Mistral).
Затем мы используем LlamaIndex для инициализации как языковой модели Mistral, так и модели embedding. После этого мы устанавливаем эти модели в объекте LlamaIndex Settings:
Далее мы инициализируем клиент Langfuse. Зарегистрируйтесь в Langfuse, если вы еще этого не сделали.
Наконец, мы регистрируем LlamaIndexCallbackHandler Langfuse в Settings.callback_manager LlamaIndex в…
План урока
- Что такое Langfuse?
- Что такое LlamaIndex?
- Что такое PostHog?
- Как создать простое RAG приложение с LlamaIndex и Mistral
- Шаг 1: Настройка LlamaIndex и Mistral
- Шаг 2: Инициализация Langfuse
- Шаг 3: Загрузка данных
- Шаг 4: Создание RAG на основе документа о ежах
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.