О чём урок
Retrieval Augmented Generation (RAG) — это фреймворк искусственного интеллекта, который объединяет возможности LLM и систем извлечения информации. Он полезен для ответов на вопросы или генерации контента с использованием внешних знаний. В стандартном RAG есть два основных шага: 1) Извлечение: извлечение релевантной информации из базы знаний, часто с использованием текстовых эмбеддингов, хранящихся в векторном хранилище; 2) Генерация: вставка релевантной информации в промпт для LLM для генерации информации. В этом руководстве мы рассмотрим очень простой пример RAG с использованием наших моделей.
Этот раздел призван помочь вам в процессе создания базового RAG с нуля. У нас две цели: во-первых, предложить пользователям всестороннее понимание внутренней работы RAG и демистифицировать основные механизмы; во-вторых, предоставить вам необходимые основы для создания RAG с использованием минимально необходимых зависимостей.
Первый шаг — установить необходимые пакеты mistralai и faiss-cpu и импортировать необходимые пакеты:
В этом очень простом примере мы получаем данные из эссе, написанного Полом Грэмом:
При желании мы также можем сохранить эссе в локальный файл:
В системе RAG крайне важно разделить документ на более мелкие фрагменты, чтобы в дальнейшем процессе извлечения было более эффективно идентифицировать и извлекать наиболее релевантную информацию.
В этом примере мы просто разделяем наш текст по символам, объединяем 2048 символов в каждый фрагмент и получаем 37 фрагментов.
- Размер фрагмента: В зависимости от вашего конкретного случая использования может потребоваться настроить или поэкспериментировать с различными размерами фрагментов и их перекрытием для достижения оптимальной производительности в RAG. Например, меньшие фрагменты могут быть более полезны в процессах извлечения, поскольку более крупные текстовые фрагменты часто содержат лишний текст, который может затемнять семантическое представление. Таким образом, использование меньших текстовых фрагментов в процессе извлечения может позволить системе RAG более эффективно и точно идентифицировать и извлекать релевантную информацию. Однако стоит учитывать компромиссы, связанные с использованием меньших фрагментов, такие как увеличение времени обработки и вычислительных ресурсов.
- Как разделить: Хотя самый простой метод — разделить текст по символам, существуют…
План урока
- RAG с нуля
- Импорт необходимых пакетов
- Получение данных
- Разделение документа на фрагменты
- Соображения
- Создание эмбеддингов для каждого текстового фрагмента
- Загрузка в векторную базу данных
- Создание эмбеддингов для вопроса
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.