RAG на графовой базе данных

О чём урок

Этот notebook демонстрирует, как использовать LLM в сочетании с Neo4j, графовой базой данных, для выполнения расширенной генерации с извлечением данных (RAG). Если вы хотите использовать LLM для генерации ответов на основе вашего собственного контента или базы знаний, вместо предоставления большого контекста при создании prompt для модели, вы можете извлечь соответствующую информацию из базы данных и использовать ее для генерации ответа. Это позволяет вам: Уменьшить галлюцинации Предоставлять пользователям актуальную и своевременную информацию Использовать ваш собственный контент/базу знаний Если у вас есть данные, где важны взаимосвязи между точками данных, и вы хотите использовать это, то стоит рассмотреть графовые базы данных вместо традиционных реляционных баз данных. Графовые базы данных хорошо подходят для решения следующих задач: Навигация по глубоким иерархиям Поиск скрытых связей между элементами Обнаружение взаимосвязей между элементами Графовые базы данных особенно актуальны для рекомендательных систем, сетевых взаимосвязей или анализа корреляции между точками данных. Примеры вариантов использования RAG с графовыми базами данных включают: Рекомендательный chatbot CRM с AI-расширением Инструмент для анализа поведения клиентов с помощью natural language В зависимости от вашего use case, вы можете оценить, имеет ли смысл использовать графовую базу данных. В этом notebook мы создадим chatbot для рекомендаций продуктов с графовой базой данных, содержащей данные о продуктах Amazon. Мы начнем с установки и импорта соответствующих libraries. Убедитесь, что у вас настроен аккаунт OpenAI и есть ваш OpenAI API key. Мы будем использовать dataset, который был создан из реляционной базы данных и преобразован в json format, создавая взаимосвязи между entities с помощью completions API. Затем мы загрузим эти данные в graph db, чтобы иметь возможность запрашивать их. product_id product relationship entity_type entity_value PRODUCT_ID TITLE BULLET_POINTS DESCRIPTION PRODUCT_TYPE_ID PRODUCT_LENGTH 0 1925202 Blackout Curtain hasCategory category home decoration 1925202 ArtzFolio Tulip Flowers Blackout Curtain for D... [LUXURIOUS & APPEALING: Beautiful custom-made ...

План урока

1. Зачем использовать RAG?
2. Зачем использовать графовую базу данных?
3. Варианты использования
4. Настройка
5. Dataset
6. Загрузка dataset
7. Подключение к db
8. Импорт данных