Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 190 · Текст · ~5 мин

Глава 2. Синтетический набор вопросов и ответов

Урок 190 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Примечание: Для ответов на вопросы на основе текстовых документов мы рекомендуем использовать процедуру, описанную в Question Answering using Embeddings. Часть представленного ниже кода может использовать устаревшие API endpoints.

Мы используем davinci-instruct-beta-v3, модель, специализирующуюся на выполнении инструкций, для создания вопросов на основе заданного контекста. Затем мы также используем davinci-instruct-beta-v3 для ответов на эти вопросы, используя тот же контекст.

Это дорогостоящий и длительный процесс, поскольку мы вызываем движок davinci для каждого раздела. Вместо этого вы можете просто скачать готовый набор данных.

Мы используем набор данных, созданный с помощью предыдущего notebook

Создайте контекст, объединив заголовок, подзаголовок и содержимое этого раздела

Используйте davinci-instruct для генерации ряда правдоподобных вопросов, относящихся к содержимому раздела Википедии.

Примечание: Мы использовали temperature=0, но может быть полезно поэкспериментировать с более высоким значением temperature для получения большего разнообразия вопросов.

ВНИМАНИЕ: Этот шаг займет много времени и потребует значительного количества токенов, поскольку он вызывает davinci-instruct для каждого раздела для генерации нескольких вопросов.

prompt разработан для генерации нескольких вопросов. Примеры вопросов выше были сгенерированы на основе раздела «Краткое содержание» страницы Летних Олимпийских игр 2020 года.

Мы можем заметить, что вопросы 3 и 5 выше повторяются. Иногда сгенерированные вопросы могут быть неоднозначными без контекста. Мы покажем, что даже несмотря на эти ограничения, мы можем создать успешную модель.

Используйте davinci-instruct для ответов на вопросы, основываясь на соответствующем содержимом раздела Википедии.

Примечание: Мы использовали temperature=0, но может быть полезно поэкспериментировать с более высоким значением temperature для получения большего разнообразия вопросов.

ВНИМАНИЕ: Этот шаг займет много времени и потребует значительного количества токенов, поскольку он вызывает davinci-instruct для каждого раздела для ответа на все вопросы.

Это ответы на вопросы выше, основанные на контексте, касающемся выбора города-организатора.

Мы видим, что ответы 3-5 содержат правильный ответ, но вместо прямого ответа на вопрос, ответ является дословным извлечением.

Мы сохраняем файл для использования в следующем notebook

Мы создаем файл для…

План урока

  1. 2.1 Чтение данных и создание контекста
  2. 2.2 Создание вопросов на основе контекста
  3. 2.3 Создание ответов на основе контекста
  4. 2.4 Сохранение набора данных «Вопрос-Ответ» по Олимпийским играм на основе разделов Википедии
  5. 2.5 Файл для поиска (УСТАРЕЛО)
  6. 2.6 Ответы на вопросы на основе предоставленного контекста
  7. 2.7 (Необязательно) Исследование вероятности возврата релевантного контекста search endpoint'ом

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды