О чём урок
Примечание: Для ответов на вопросы на основе текстовых документов мы рекомендуем процедуру, описанную в Question Answering using Embeddings. Часть приведённого ниже кода может использовать устаревшие API endpoints.
Этот notebook будет использовать набор данных из пар контекст-вопрос-ответ для дополнительного создания состязательных пар вопрос-контекст, где вопрос не был сгенерирован на основе данного контекста. В таких случаях модель будет получать prompt с ответом "No sufficient context for answering the question". Мы также обучим discriminator модель, которая предсказывает, можно ли ответить на вопрос на основе контекста или нет.
Мы также добавим сложные состязательные примеры, которые будут основаны либо на семантически схожих разделах, либо на соседних разделах, происходящих из той же статьи.
Разделение разделов на обучающий и тестовый наборы
мы проверяем, что разделитель, который мы собираемся использовать, отсутствует в контекстах
Набор данных для fine-tuning создаётся следующим образом. Для каждой соответствующей пары вопрос-ответ-контекст мы создаём:
- Положительный пример: правильная пара вопрос-ответ-контекст
- Отрицательные примеры: случайный отрицательный пример, где случайный контекст сопоставляется с вопросом
- два сложных отрицательных примера один, происходящий из той же статьи Википедии
- другой, наиболее похожий на правильный контекст
Этот процесс является шумным, так как иногда на вопрос можно ответить, используя другой контекст, но в среднем мы надеемся, что это не сильно повлияет на производительность.
Мы применяем тот же процесс создания набора данных как для discriminator, так и для Q&A answering модели. Мы применяем этот процесс отдельно для обучающего и тестового наборов, чтобы гарантировать, что примеры из обучающего набора не попадут в тестовый набор.
Мы применяем тот же процесс создания набора данных как для discriminator, так и для Q&A answering модели. Мы применяем этот процесс отдельно для обучающего и тестового наборов, чтобы гарантировать, что примеры из обучающего набора не попадут в тестовый набор.
Мы отформатировали данные в соответствии с рекомендациями инструмента fine-tuning, который доступен с помощью
openai tools fine_tunes.prepare_data -f qa_train…
План урока
- 3.1 Создание наборов данных для fine-tuning Q&A и discriminator моделей
- 3.2 Отправка наборов данных для fine-tuning
- 3.3 Использование fine-tuned моделей
- 3.4 Ответ на вопрос на основе базы знаний
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.