Глава 2. Синтетический набор вопросов и ответов

О чём урок

Примечание: Для ответов на вопросы на основе текстовых документов мы рекомендуем использовать процедуру, описанную в Question Answering using Embeddings. Часть представленного ниже кода может использовать устаревшие API endpoints. Мы используем davinci-instruct-beta-v3, модель, специализирующуюся на выполнении инструкций, для создания вопросов на основе заданного контекста. Затем мы также используем davinci-instruct-beta-v3 для ответов на эти вопросы, используя тот же контекст. Это дорогостоящий и длительный процесс, поскольку мы вызываем движок davinci для каждого раздела. Вместо этого вы можете просто скачать готовый набор данных. Мы используем набор данных, созданный с помощью предыдущего notebook Создайте контекст, объединив заголовок, подзаголовок и содержимое этого раздела title heading content tokens context 0 2020 Summer Olympics Summary The 2020 Summer Olympics (Japanese: 2020年夏季オリン... 713 2020 Summer Olympics\nSummary\n\nThe 2020 Summ... 1 2020 Summer Olympics Host city selection The International Olympic Committee (IOC) vote... 126 2020 Summer Olympics\nHost city selection\n\nT... 2 2020 Summer Olympics Impact of the COVID-19 pandemic In January 2020, concerns were raised about th... 369 2020 Summer Olympics\nImpact of the COVID-19 p... 3 2020 Summer Olympics Qualifying event cancellation and postponement Concerns about the pandemic began to affect qu... 298 2020 Summer Olympics\nQualifying event cancell... 4 2020 Summer Olympics Effect on doping tests Mandatory doping tests were being severely res... 163 2020 Summer Olympics\nEffect on doping tests\n... Используйте davinci-instruct для генерации ряда правдоподобных вопросов, относящихся к содержимому раздела Википедии. Примечание: Мы использовали temperature=0, но может быть полезно поэкспериментировать с более высоким значением temperature для получения большего разнообразия вопросов. ВНИМАНИЕ: Этот шаг займет много времени и потребует значительного количества токенов, поскольку он вызывает davinci-instruct для каждого раздела для генерации нескольких вопросов. prompt разработан для генерации нескольких вопросов. Примеры вопросов выше были сгенерированы на основе раздела « » страницы Летних Олимпийских игр 2020 года.

План урока

1. 2.1 Чтение данных и создание контекста
2. 2.2 Создание вопросов на основе контекста
3. 2.3 Создание ответов на основе контекста
4. 2.4 Сохранение набора данных «Вопрос-Ответ» по Олимпийским играм на основе разделов Википедии
5. 2.5 Файл для поиска (УСТАРЕЛО)
6. 2.6 Ответы на вопросы на основе предоставленного контекста
7. 2.7 (Необязательно) Исследование вероятности возврата релевантного контекста search endpoint'ом