Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 23 · Текст · ~5 мин

Чат-бот на Llama 3 с RAG

Урок 23 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует полный пример того, как создать чат-бота Meta Llama 3, размещенного в вашем браузере, который может отвечать на вопросы на основе ваших собственных данных. Мы рассмотрим:

  • Процесс развертывания Meta Llama 3 8B с использованием фреймворка Text-generation-inference в качестве API-сервера
  • Пример чат-бота, созданного с помощью Gradio и подключенного к серверу
  • Добавление возможности RAG со специфическими знаниями Meta Llama 3 на основе нашего руководства по началу работы

LLM обладают беспрецедентными возможностями в NLU (Natural Language Understanding) и NLG (Natural Language Generation), но у них есть дата отсечения знаний, и они обучены только на общедоступных данных до этой даты.

RAG, изобретенный Meta в 2020 году, является одним из самых популярных методов расширения возможностей LLM. RAG позволяет предприятиям хранить конфиденциальные данные локально и получать более релевантные ответы от общих моделей без fine-tuning моделей для конкретных ролей.

RAG — это метод, который:

  • Извлекает данные извне базовой модели
  • Расширяет ваши вопросы или prompt для LLM, добавляя извлеченные релевантные данные в качестве контекста
  • Позволяет LLM отвечать на вопросы о ваших собственных данных или данных, которые не были общедоступны во время обучения LLM
  • Значительно снижает галлюцинации при генерации ответов моделью

Следующая диаграмма показывает общие компоненты и процесс RAG:

Самый простой способ разработать чат-ботов Meta Llama 3 на основе RAG — использовать такие фреймворки, как LangChain и LlamaIndex, два ведущих open-source фреймворка для создания LLM-приложений. Оба предлагают удобные API для реализации RAG с Meta Llama 3, включая:

  • Загрузка и разделение документов
  • Создание embedding и хранение фрагментов документов
  • Извлечение релевантного контекста на основе запроса пользователя
  • Вызов Meta Llama 3 с запросом и контекстом для генерации ответа

LangChain — это более универсальный и гибкий фреймворк для разработки LLM-приложений с возможностями RAG, в то время как LlamaIndex как фреймворк для данных фокусируется на подключении пользовательских источников данных к LLM.

Для этой демонстрации мы будем использовать Gradio для пользовательского интерфейса чат-бота и фреймворк Text-generation-inference…

План урока

  1. Архитектура RAG
  2. Как разработать чат-бота Meta Llama 3 на основе RAG
  3. Установка зависимостей
  4. Обработка данных
  5. Обслуживание модели
  6. Создание пользовательского интерфейса чат-бота

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды