Урок из полного доступа, первые уроки курса бесплатно Официальный курс OpenAI Academy на русском
Урок 72 · Текст · ~5 мин

Logprobs для классификации и оценки ответов

Урок 72 из 303 курса «OpenAI Cookbook»: официальный курс OpenAI Academy (ОпенАИ) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Этот notebook демонстрирует использование параметра logprobs в Chat Completions API. Когда logprobs включен, API возвращает лог-вероятности каждого выходного токена, а также ограниченное количество наиболее вероятных токенов в каждой позиции токена и их лог-вероятности. Соответствующие параметры запроса:

  • logprobs: Возвращать ли лог-вероятности для выходных токенов. Если true, ответ включает лог-вероятность каждого токена в содержимом сообщения.
  • top_logprobs: Целое число от 0 до 5, указывающее количество наиболее вероятных токенов для возврата в каждой позиции токена, каждый с соответствующей лог-вероятностью. logprobs должен быть установлен в true, если используется этот параметр.

Лог-вероятности выходных токенов указывают на вероятность появления каждого токена в последовательности с учетом контекста. Проще говоря, logprob — это log(p), где p = вероятность появления токена в определенной позиции на основе предыдущих токенов в контексте. Некоторые ключевые моменты о logprobs:

  • Более высокие лог-вероятности указывают на более высокую вероятность токена в данном контексте. Это позволяет пользователям оценивать уверенность модели в ее выводе или исследовать альтернативные ответы, которые модель рассматривала.
  • Logprob может быть любым отрицательным числом или 0.0. 0.0 соответствует 100% вероятности.
  • Logprobs позволяют нам вычислить совместную лог-вероятность последовательности путем суммирования лог-вероятностей ее токенов. Экспоненцирование этой суммы дает совместную вероятность. Это полезно для оценки и ранжирования выходных данных модели. Другой распространенный подход — взять среднюю лог-вероятность на токен для предложения, чтобы выбрать лучшую генерацию.
  • Мы можем изучить logprobs, присвоенные различным токенам-кандидатам, чтобы понять, какие варианты модель считала правдоподобными или неправдоподобными.

Хотя существует широкий спектр вариантов использования logprobs, этот notebook сосредоточится на его использовании для:

  1. Задачи классификации: Большие языковые модели превосходно справляются со многими задачами классификации, но точное измерение уверенности модели в ее выходных данных может быть сложной задачей. logprobs предоставляют вероятность, связанную с каждым предсказанием класса, что позволяет пользователям устанавливать пороги классификации или уверенности.
  2. Оценка извлечения (Q&A): logprobs могут помочь с самооценкой в приложениях для извлечения информации.
  3. Автодополнение: logprobs могут помочь нам решить, когда предлагать…

План урока

  1. 0. Импорты и утилиты
  2. 1. Использование logprobs для оценки уверенности в задачах классификации
  3. 2. Оценка уверенности извлечения для уменьшения галлюцинаций
  4. 3. Автодополнение
  5. 4. Выделитель и параметр bytes
  6. 5. Расчет перплексии
  7. 6. Заключение
  8. 7. Возможные расширения

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы OpenAI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от OpenAI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды