Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 21 · Текст · ~5 мин

Чат-бот, который помнит историю переписки

Урок 21 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

Цели урока

  • Основы chat completion: Как структурировать диалоги, используя роли system, user и assistant.
  • Как управлять историей переписки: Реализовать скользящее окно для поддержания контекста в долгих диалогах без превышения лимитов токенов.
  • Практический prompt engineering: Как направлять модель отвечать на вопросы *только* на основе предоставленного текста.
  • Как выполнять мета-задачи: Использовать модель для суммирования истории переписки.

О чём урок

В этом руководстве показано, как создать чат-бот с историей переписки. Используя Llama 4, мы создадим разговорного агента, который принимает URL, понимает его содержимое и позволяет вам вести с ним интерактивный диалог, сохраняя при этом историю переписки.

Примечание о провайдерах инференса: В этом руководстве Llama API используется в демонстрационных целях. Однако вы можете запускать модели Llama 4 с любым предпочтительным провайдером инференса. Распространенные примеры включают Amazon Bedrock и Together AI. Основная логика этого руководства может быть адаптирована для любого из этих провайдеров.

Для этого проекта вам понадобится несколько библиотек: requests для загрузки веб-страниц, readability-lxml для извлечения основного содержимого, markdownify для преобразования HTML в чистый Markdown, tiktoken для точного подсчета токенов и официальный llama-api-client.

В этом руководстве мы будем использовать Llama API в качестве провайдера инференса. Поэтому вам сначала потребуется получить API key от Llama API, если у вас его еще нет. Затем установите API key Llama в качестве переменной окружения, например LLAMA_API_KEY, как показано в примере.

Помните, что вы можете адаптировать этот раздел для использования предпочитаемого вами провайдера инференса.

Чтобы получить высококачественные ответы от модели, сначала необходимо предоставить ей высококачественные данные. Исходный HTML содержит много «шума» (например, навигационные панели, рекламу и скрипты), который может отвлекать модель. Следующая функция реализует трехэтапный процесс преобразования беспорядочной веб-страницы в чистый, структурированный Markdown, который идеально подходит для LLM.

  1. Извлечение основного содержимого: Используется библиотека readability для извлечения основной части статьи, отбрасывая стандартные элементы, такие как заголовки, подвалы и боковые панели.
  2. Окончательная очистка: Используется BeautifulSoup для удаления любых оставшихся тегов <script> или <style>.
  3. Преобразование в Markdown: Чистый HTML преобразуется в Markdown с помощью markdownify. Это лучше, чем обычный текст, потому что сохраняет важную семантическую структуру — такую как заголовки, списки и ссылки — что помогает модели лучше понимать…

План урока

  1. Что вы узнаете
  2. Установка зависимостей
  3. Импорты и настройка клиента Llama API
  4. Получение и очистка веб-страницы
  5. Управление контекстным окном
  6. Чат-бот с историей переписки
  7. Запуск интерактивного чат-цикла
  8. Бонус: Суммирование переписки

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды