Ответы на вопросы через поиск по эмбеддингам

О чём урок

GPT отлично справляется с ответами на вопросы, но только по тем темам, которые он запомнил из своих обучающих данных. Что делать, если вы хотите, чтобы GPT отвечал на вопросы по незнакомым темам? Например, Недавние события после октября 2023 года для моделей серии GPT 4 Ваши непубличные документы Информация из прошлых бесед и т.д. Этот notebook демонстрирует двухэтапный метод «Поиск-Вопрос» (Search-Ask), позволяющий GPT отвечать на вопросы, используя библиотеку справочного текста. Поиск: найдите в вашей библиотеке текста релевантные текстовые фрагменты Вопрос: вставьте найденные текстовые фрагменты в сообщение для GPT и задайте ему вопрос GPT может получать знания двумя способами: Через веса модели (т.е. выполните fine-tune модели на обучающем наборе данных) Через входные данные модели (т.е. вставьте знания во входное сообщение) Хотя fine-tuning может показаться более естественным вариантом — ведь именно так GPT получил все свои остальные знания, обучаясь на данных — мы, как правило, не рекомендуем его как способ обучения модели новым знаниям. Fine-tuning лучше подходит для обучения специализированным задачам или стилям и менее надежен для запоминания фактов. По аналогии, веса модели подобны долговременной памяти. Когда вы выполняете fine-tune модели, это похоже на подготовку к экзамену за неделю до него. Когда наступает экзамен, модель может забыть детали или неверно вспомнить факты, которые она никогда не читала. Напротив, входные сообщения подобны кратковременной памяти. Когда вы вставляете знания в сообщение, это похоже на сдачу экзамена с открытыми конспектами. Имея под рукой записи, модель с большей вероятностью придет к правильным ответам.

План урока

1. Почему поиск лучше, чем fine-tuning
2. Поиск
3. Полная процедура
4. Затраты
5. Преамбула
6. Устранение неполадок: Установка библиотек
7. Устранение неполадок: Настройка вашего API key
8. Мотивирующий пример: GPT не может отвечать на вопросы о текущих событиях