О чём урок
Этот notebook предназначен для демонстрации того, как интегрировать и использовать открытые модели Hugging Face, в частности Llama3, с MongoDB для реализации RAG-пайплайнов (Retrieval-Augmented Generation) для расширения возможностей ответов на вопросы.
Процесс включает подготовку набора данных статей arXiv, преобразование их данных для эффективного извлечения, настройку базы данных MongoDB с возможностями векторного поиска и использование модели Llama3 для генерации ответов на основе извлеченных документов.
Основные моменты:
- Использование открытых моделей Hugging Face и MongoDB для создания RAG-пайплайнов.
- Шаги включают подготовку набора данных, настройку базы данных, загрузку данных и обработку запросов.
- Подробное руководство по настройке коллекций MongoDB и индексов векторного поиска.
- Интеграция с моделью Llama3 от Hugging Face для ответов на сложные запросы.
Следуйте приведенным ниже инструкциям для настройки базы данных MongoDB и включения векторного поиска:
- Зарегистрируйте бесплатный аккаунт Atlas или войдите в существующий аккаунт Atlas.
- Следуйте инструкциям (выберите Atlas UI в качестве процедуры) для развертывания вашего первого кластера, который распределяет ваши данные по нескольким серверам для повышения производительности и отказоустойчивости.
- Для бесплатного кластера обязательно выберите опцию "Shared" при создании нового кластера. Подробности см. на изображении ниже
- Создайте базу данных: knowledge_base, и коллекцию research_papers
Импортируйте библиотеки в среду разработки
Загрузите набор данных из Hugging Face.
Для демонстрационных целей используются только первые 100 точек данных.
Выполните следующие шаги, если они не были выполнены ранее. Создание базы данных и коллекций в MongoDB упрощается с помощью MongoDB Atlas.
- Зарегистрируйте бесплатный аккаунт Atlas или войдите в существующий аккаунт Atlas.
- Следуйте инструкциям (выберите Atlas UI в качестве процедуры) для развертывания вашего первого кластера.
- Создайте базу данных: knowledge_base.
- Внутри базы данных knowledge_base создайте следующие коллекции: research_papers
- Создайте индекс векторного поиска с именем vector_index для коллекции research_papers. Этот индекс позволяет RAG-приложению извлекать записи в качестве дополнительного контекста для дополнения пользовательских запросов с помощью векторного поиска. Ниже приведено JSON-определение индекса векторного поиска для коллекции данных.
План урока
- Импорт библиотек
- Загрузка и подготовка набора данных
- Генерация embedding'ов
- Настройка базы данных и коллекций
- Загрузка данных
- Векторный поиск
- Обработка пользовательских запросов
- Загрузка и использование Llama3
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.