О чём урок
Этот notebook демонстрирует использование параметра logprobs в Chat Completions API. Когда logprobs включен, API возвращает лог-вероятности каждого выходного токена, а также ограниченное количество наиболее вероятных токенов в каждой позиции токена и их лог-вероятности. Соответствующие параметры запроса:
- logprobs: Возвращать ли лог-вероятности для выходных токенов. Если true, ответ включает лог-вероятность каждого токена в содержимом сообщения.
- top_logprobs: Целое число от 0 до 5, указывающее количество наиболее вероятных токенов для возврата в каждой позиции токена, каждый с соответствующей лог-вероятностью. logprobs должен быть установлен в true, если используется этот параметр.
Лог-вероятности выходных токенов указывают на вероятность появления каждого токена в последовательности с учетом контекста. Проще говоря, logprob — это log(p), где p = вероятность появления токена в определенной позиции на основе предыдущих токенов в контексте. Некоторые ключевые моменты о logprobs:
- Более высокие лог-вероятности указывают на более высокую вероятность токена в данном контексте. Это позволяет пользователям оценивать уверенность модели в ее выводе или исследовать альтернативные ответы, которые модель рассматривала.
- Logprob может быть любым отрицательным числом или 0.0. 0.0 соответствует 100% вероятности.
- Logprobs позволяют нам вычислить совместную лог-вероятность последовательности путем суммирования лог-вероятностей ее токенов. Экспоненцирование этой суммы дает совместную вероятность. Это полезно для оценки и ранжирования выходных данных модели. Другой распространенный подход — взять среднюю лог-вероятность на токен для предложения, чтобы выбрать лучшую генерацию.
- Мы можем изучить logprobs, присвоенные различным токенам-кандидатам, чтобы понять, какие варианты модель считала правдоподобными или неправдоподобными.
Хотя существует широкий спектр вариантов использования logprobs, этот notebook сосредоточится на его использовании для:
- Задачи классификации: Большие языковые модели превосходно справляются со многими задачами классификации, но точное измерение уверенности модели в ее выходных данных может быть сложной задачей. logprobs предоставляют вероятность, связанную с каждым предсказанием класса, что позволяет пользователям устанавливать пороги классификации или уверенности.
- Оценка извлечения (Q&A): logprobs могут помочь с самооценкой в приложениях для извлечения информации.
- Автодополнение: logprobs могут помочь нам решить, когда предлагать…
План урока
- 0. Импорты и утилиты
- 1. Использование logprobs для оценки уверенности в задачах классификации
- 2. Оценка уверенности извлечения для уменьшения галлюцинаций
- 3. Автодополнение
- 4. Выделитель и параметр bytes
- 5. Расчет перплексии
- 6. Заключение
- 7. Возможные расширения
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.