Оценка RAG с LlamaIndex

О чём урок

В этом notebook мы рассмотрим создание RAG пайплайна и его оценку с помощью LlamaIndex. Он состоит из следующих 3 разделов. Понимание Retrieval Augmented Generation (RAG). Создание RAG с помощью LlamaIndex. Оценка RAG с помощью LlamaIndex. Retrieval Augmented Generation (RAG) LLM обучаются на огромных наборах данных, но они не будут включать ваши специфические данные. Retrieval-Augmented Generation (RAG) решает эту проблему, динамически включая ваши данные в процесс генерации. Это достигается не путем изменения обучающих данных LLM, а путем предоставления модели доступа и использования ваших данных в реальном времени для получения более индивидуальных и контекстуально релевантных ответов. В RAG ваши данные загружаются и подготавливаются для запросов или «индексируются». Пользовательские запросы действуют на индекс, который отфильтровывает ваши данные до наиболее релевантного контекста. Этот контекст и ваш запрос затем передаются в LLM вместе с prompt, и LLM предоставляет ответ. Даже если вы создаете чат-бота или агента, вам захочется узнать RAG техники для получения данных в ваше приложение. Этапы в RAG В RAG есть пять ключевых этапов, которые, в свою очередь, станут частью любого более крупного приложения, которое вы создадите. Это: : это относится к получению ваших данных из места их хранения – будь то текстовые файлы, PDF, другой веб-сайт, база данных или API – в ваш пайплайн. LlamaHub предоставляет сотни коннекторов на выбор. Индексирование: это означает создание структуры данных, которая позволяет запрашивать данные. Для LLM это почти всегда означает создание векторных embedding'ов, числовых представлений значения ваших данных, а также множества других стратегий метаданных, чтобы легко и точно находить контекстуально релевантные данные. Хранение: После того как ваши данные проиндексированы, вы захотите сохранить ваш индекс вместе с любыми другими метаданными, чтобы избежать необходимости повторного индексирования. Запрос: для любой заданной стратегии индексирования существует множество способов использования LLM и структур данных LlamaIndex для запросов, включая подзапросы, многошаговые запросы и гибридные стратегии.

План урока

1. Создание RAG системы.
2. Загрузка данных
3. Загрузка данных и создание индекса.
4. Оценка
5. Генерация пар «вопрос-контекст» (Question-Context Pair Generation)
6. Оценка извлечения (Retrieval Evaluation)
7. Наблюдение
8. Оценка ответа (Response Evaluation)