Чат-бот на Llama 3 с RAG

О чём урок

Этот notebook демонстрирует полный пример того, как создать чат-бота Meta Llama 3, размещенного в вашем браузере, который может отвечать на вопросы на основе ваших собственных данных. Мы рассмотрим: Процесс развертывания Meta Llama 3 8B с использованием фреймворка Text-generation-inference в качестве API-сервера Пример чат-бота, созданного с помощью Gradio и подключенного к серверу Добавление возможности RAG со специфическими знаниями Meta Llama 3 на основе нашего руководства по началу работы LLM обладают беспрецедентными возможностями в NLU (Natural Language Understanding) и NLG (Natural Language Generation), но у них есть дата отсечения знаний, и они обучены только на общедоступных данных до этой даты. RAG, изобретенный Meta в 2020 году, является одним из самых популярных методов расширения возможностей LLM. RAG позволяет предприятиям хранить конфиденциальные данные локально и получать более релевантные ответы от общих моделей без fine-tuning моделей для конкретных ролей. RAG — это метод, который: Извлекает данные извне базовой модели Расширяет ваши вопросы или prompt для LLM, добавляя извлеченные релевантные данные в качестве контекста Позволяет LLM отвечать на вопросы о ваших собственных данных или данных, которые не были общедоступны во время обучения LLM Значительно снижает галлюцинации при генерации ответов моделью Следующая диаграмма показывает общие компоненты и процесс RAG: Самый простой способ разработать чат-ботов Meta Llama 3 на основе RAG — использовать такие фреймворки, как LangChain и LlamaIndex, два ведущих open-source фреймворка для создания LLM-приложений. Оба предлагают удобные API для реализации RAG с Meta Llama 3, включая: и разделение документов Создание embedding и хранение фрагментов документов Извлечение релевантного контекста на основе запроса пользователя Вызов Meta Llama 3 с запросом и контекстом для генерации ответа LangChain — это более универсальный и гибкий фреймворк для разработки LLM-приложений с возможностями RAG, в то время как LlamaIndex как фреймворк для данных фокусируется на подключении пользовательских источников данных к LLM.

План урока

1. Архитектура RAG
2. Как разработать чат-бота Meta Llama 3 на основе RAG
3. Установка зависимостей
4. Обработка данных
5. Обслуживание модели
6. Создание пользовательского интерфейса чат-бота