Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 24 · Текст · ~5 мин

RAG-пайплайны на MongoDB, Llama 3 и моделях Hugging Face

Урок 24 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook предназначен для демонстрации того, как интегрировать и использовать открытые модели Hugging Face, в частности Llama3, с MongoDB для реализации RAG-пайплайнов (Retrieval-Augmented Generation) для расширения возможностей ответов на вопросы.

Процесс включает подготовку набора данных статей arXiv, преобразование их данных для эффективного извлечения, настройку базы данных MongoDB с возможностями векторного поиска и использование модели Llama3 для генерации ответов на основе извлеченных документов.

Основные моменты:

  • Использование открытых моделей Hugging Face и MongoDB для создания RAG-пайплайнов.
  • Шаги включают подготовку набора данных, настройку базы данных, загрузку данных и обработку запросов.
  • Подробное руководство по настройке коллекций MongoDB и индексов векторного поиска.
  • Интеграция с моделью Llama3 от Hugging Face для ответов на сложные запросы.

Следуйте приведенным ниже инструкциям для настройки базы данных MongoDB и включения векторного поиска:

  1. Зарегистрируйте бесплатный аккаунт Atlas или войдите в существующий аккаунт Atlas.
  2. Следуйте инструкциям (выберите Atlas UI в качестве процедуры) для развертывания вашего первого кластера, который распределяет ваши данные по нескольким серверам для повышения производительности и отказоустойчивости.
  1. Для бесплатного кластера обязательно выберите опцию "Shared" при создании нового кластера. Подробности см. на изображении ниже
  1. Создайте базу данных: knowledge_base, и коллекцию research_papers

Импортируйте библиотеки в среду разработки

Загрузите набор данных из Hugging Face.

Для демонстрационных целей используются только первые 100 точек данных.

Выполните следующие шаги, если они не были выполнены ранее. Создание базы данных и коллекций в MongoDB упрощается с помощью MongoDB Atlas.

  1. Зарегистрируйте бесплатный аккаунт Atlas или войдите в существующий аккаунт Atlas.
  2. Следуйте инструкциям (выберите Atlas UI в качестве процедуры) для развертывания вашего первого кластера.
  3. Создайте базу данных: knowledge_base.
  4. Внутри базы данных knowledge_base создайте следующие коллекции: research_papers
  5. Создайте индекс векторного поиска с именем vector_index для коллекции research_papers. Этот индекс позволяет RAG-приложению извлекать записи в качестве дополнительного контекста для дополнения пользовательских запросов с помощью векторного поиска. Ниже приведено JSON-определение индекса векторного поиска для коллекции данных.

План урока

  1. Импорт библиотек
  2. Загрузка и подготовка набора данных
  3. Генерация embedding'ов
  4. Настройка базы данных и коллекций
  5. Загрузка данных
  6. Векторный поиск
  7. Обработка пользовательских запросов
  8. Загрузка и использование Llama3

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды