Глава 3. Дообучаем модель отвечать на вопросы

О чём урок

Примечание: Для ответов на вопросы на основе текстовых документов мы рекомендуем процедуру, описанную в Question Answering using Embeddings. Часть приведённого ниже кода может использовать устаревшие API endpoints. Этот notebook будет использовать набор данных из пар контекст-вопрос-ответ для дополнительного создания состязательных пар вопрос-контекст, где вопрос не был сгенерирован на основе данного контекста. В таких случаях модель будет получать prompt с ответом "No sufficient context for answering the question". Мы также обучим discriminator модель, которая предсказывает, можно ли ответить на вопрос на основе контекста или нет. Мы также добавим сложные состязательные примеры, которые будут основаны либо на семантически схожих разделах, либо на соседних разделах, происходящих из той же статьи. title heading content tokens context questions answers 0 2020 Summer Olympics Summary The 2020 Summer Olympics (Japanese: 2020年夏季オリン... 713 2020 Summer Olympics\nSummary\n\nThe 2020 Summ... 1. What is the 2020 Summer Olympics?\n2. When ... 1. The 2020 Summer Olympics is an internationa... 1 2020 Summer Olympics Host city selection The International Olympic Committee (IOC) vote... 126 2020 Summer Olympics\nHost city selection\n\nT... 1. \n2. \n3. \n4. 1. What is the International Olympic Committee... 2 2020 Summer Olympics Impact of the COVID-19 pandemic In January 2020, concerns were raised about th... 369 2020 Summer Olympics\nImpact of the COVID-19 p... 1. What was the COVID-19 pandemic?\n2. How did... 1. The COVID-19 pandemic was a pandemic that o... 3 2020 Summer Olympics Qualifying event cancellation and postponement Concerns about the pandemic began to affect qu... 298 2020 Summer Olympics\nQualifying event cancell... 1. What was the original location of the Asia ... 1. The original location of the Asia & Oceania... 4 2020 Summer Olympics Effect on doping tests Mandatory doping tests were being severely res... 163 2020 Summer Olympics\nEffect on doping tests\n... 1.

План урока

1. 3.1 Создание наборов данных для fine-tuning Q&A и discriminator моделей
2. 3.2 Отправка наборов данных для fine-tuning
3. 3.3 Использование fine-tuned моделей
4. 3.4 Ответ на вопрос на основе базы знаний