О чём урок
Этот notebook демонстрирует полный пример того, как создать чат-бота Meta Llama 3, размещенного в вашем браузере, который может отвечать на вопросы на основе ваших собственных данных. Мы рассмотрим:
- Процесс развертывания Meta Llama 3 8B с использованием фреймворка Text-generation-inference в качестве API-сервера
- Пример чат-бота, созданного с помощью Gradio и подключенного к серверу
- Добавление возможности RAG со специфическими знаниями Meta Llama 3 на основе нашего руководства по началу работы
LLM обладают беспрецедентными возможностями в NLU (Natural Language Understanding) и NLG (Natural Language Generation), но у них есть дата отсечения знаний, и они обучены только на общедоступных данных до этой даты.
RAG, изобретенный Meta в 2020 году, является одним из самых популярных методов расширения возможностей LLM. RAG позволяет предприятиям хранить конфиденциальные данные локально и получать более релевантные ответы от общих моделей без fine-tuning моделей для конкретных ролей.
RAG — это метод, который:
- Извлекает данные извне базовой модели
- Расширяет ваши вопросы или prompt для LLM, добавляя извлеченные релевантные данные в качестве контекста
- Позволяет LLM отвечать на вопросы о ваших собственных данных или данных, которые не были общедоступны во время обучения LLM
- Значительно снижает галлюцинации при генерации ответов моделью
Следующая диаграмма показывает общие компоненты и процесс RAG:
Самый простой способ разработать чат-ботов Meta Llama 3 на основе RAG — использовать такие фреймворки, как LangChain и LlamaIndex, два ведущих open-source фреймворка для создания LLM-приложений. Оба предлагают удобные API для реализации RAG с Meta Llama 3, включая:
- Загрузка и разделение документов
- Создание embedding и хранение фрагментов документов
- Извлечение релевантного контекста на основе запроса пользователя
- Вызов Meta Llama 3 с запросом и контекстом для генерации ответа
LangChain — это более универсальный и гибкий фреймворк для разработки LLM-приложений с возможностями RAG, в то время как LlamaIndex как фреймворк для данных фокусируется на подключении пользовательских источников данных к LLM.
Для этой демонстрации мы будем использовать Gradio для пользовательского интерфейса чат-бота и фреймворк Text-generation-inference…
План урока
- Архитектура RAG
- Как разработать чат-бота Meta Llama 3 на основе RAG
- Установка зависимостей
- Обработка данных
- Обслуживание модели
- Создание пользовательского интерфейса чат-бота
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.