Индекс PropertyGraph в LlamaIndex

О чём урок

В этом notebook мы демонстрируем базовое использование PropertyGraphIndex в LlamaIndex. Индекс PropertyGraph будет обрабатывать неструктурированные документы, извлекать из них PropertyGraph и предлагать различные методы для запросов к этому графу. Следующие шаги происходят при создании PropertyGraph: PropertyGraphIndex.from_documents(): Мы загружаем документы в индекс. Парсинг узлов: Индекс парсит документы в узлы. Извлечение путей из текста: Узлы передаются в LLM, которому дается prompt для генерации триплетов графа знаний (т.е. путей). Извлечение неявных путей: Свойство node.relationships используется для вывода неявных путей. Генерация embedding'ов: Embeddings генерируются для каждого текстового узла и узла графа, происходя дважды в процессе. Для целей отладки SimplePropertyGraphStore по умолчанию включает вспомогательную функцию для сохранения представления графа networkx в HTML-файл. Выполнение запросов к индексу PropertyGraph обычно включает использование одного или нескольких под-ретриверов и объединение их результатов. Процесс извлечения данных из графа включает: Выбор узлов: Идентификация начальных узлов интереса в графе. Обход: Перемещение от выбранных узлов для исследования связанных элементов. По умолчанию одновременно используются два основных типа извлечения: • Расширение синонимов/ключевых слов: Использование LLM для генерации синонимов и ключевых слов, полученных из запроса. • Векторное извлечение: Использование embedding'ов для поиска узлов в вашем графе. После идентификации узлов вы можете выбрать: • Возвращать пути: Предоставлять пути, смежные с выбранными узлами, обычно в форме триплетов. • Возвращать пути и исходный текст: Предоставлять как пути, так и исходный текст фрагмента, если он доступен. По умолчанию хранение управляется с помощью наших простых in-memory абстракций — SimpleVectorStore для embedding'ов и SimplePropertyGraphStore для PropertyGraph. Мы можем сохранять и загружать эти структуры на диск и с диска. Хотя некоторые графовые базы данных, такие как Neo4j, поддерживают векторы, вы все равно можете указать, какое векторное хранилище использовать с вашим графом в случаях, когда векторы не поддерживаются, или когда вы хотите переопределить настройки по умолчанию. Ниже мы продемонстрируем, как объединить ChromaVectorStore с SimplePropertyGraphStore по умолчанию.

План урока

1. Настройка
2. Загрузка данных
3. Создание PropertyGraphIndex
4. Выполнение запросов
5. Извлечение
6. QueryEngine
7. Хранение
8. Векторные хранилища