Ответы на вопросы с RAG на Pinecone

О чём урок

В этом notebook мы научимся извлекать релевантные контексты для наших запросов из Pinecone и передавать их генеративной модели OpenAI для генерации ответа, подкрепленного реальными источниками данных. Распространенная проблема при использовании GPT-3 для фактического ответа на вопросы заключается в том, что GPT-3 иногда может выдумывать информацию. Модели GPT обладают широким спектром общих знаний, но это не всегда применимо к более специфической информации. Для этого мы используем векторную базу данных Pinecone в качестве нашей "внешней базы знаний" — своего рода долговременной памяти для GPT-3. Для этого notebook требуются следующие установки: На многие вопросы современные (SOTA) LLM более чем способны ответить правильно. Однако это не всегда так. Сначала перепишем вышеизложенное в простую функцию, чтобы не переписывать ее каждый раз. Теперь зададим более конкретный вопрос о тренировке типа модели-трансформера, называемой sentence transformer. Идеальный ответ, который мы ищем, — это "Multiple Negatives Ranking (MNR) loss". Не волнуйтесь, если это новый для вас термин, для понимания того, что мы здесь делаем или демонстрируем, это не требуется. Один из распространенных ответов, которые мы получаем на это, звучит так: Этот ответ кажется довольно убедительным, не так ли? Однако он неверный. MLM обычно используется на этапе предварительного обучения (pretraining) модели-трансформера, но "не может" быть использован для fine-tuning sentence-transformer и не имеет никакого отношения к наличию "пар связанных предложений". Альтернативный ответ, который мы получаем (и который был возвращен выше), касается того, что supervised learning approach является наиболее подходящим. Это совершенно верно, но не является конкретным и не отвечает на вопрос. У нас есть два варианта, чтобы помочь нашей LLM понять и правильно ответить на этот вопрос: Мы выполняем fine-tuning LLM на текстовых данных, охватывающих упомянутую тему, вероятно, на статьях и научных работах, посвященных sentence transformers, методам обучения семантического поиска и т.д. Мы используем Retrieval Augmented Generation (RAG) — технику, которая внедряет компонент извлечения информации в процесс генерации.

План урока

1. Устранение галлюцинаций у LLM
2. Создание базы знаний
3. Подготовка данных