Logprobs для классификации и оценки ответов

О чём урок

Этот notebook демонстрирует использование параметра logprobs в Chat Completions API. Когда logprobs включен, API возвращает лог-вероятности каждого выходного токена, а также ограниченное количество наиболее вероятных токенов в каждой позиции токена и их лог-вероятности. Соответствующие параметры запроса: logprobs: Возвращать ли лог-вероятности для выходных токенов. Если true, ответ включает лог-вероятность каждого токена в содержимом сообщения. top_logprobs: Целое число от 0 до 5, указывающее количество наиболее вероятных токенов для возврата в каждой позиции токена, каждый с соответствующей лог-вероятностью. logprobs должен быть установлен в true, если используется этот параметр. Лог-вероятности выходных токенов указывают на вероятность появления каждого токена в последовательности с учетом контекста. Проще говоря, logprob — это log(p), где p = вероятность появления токена в определенной позиции на основе предыдущих токенов в контексте. Некоторые ключевые моменты о logprobs: Более высокие лог-вероятности указывают на более высокую вероятность токена в данном контексте. Это позволяет пользователям оценивать уверенность модели в ее выводе или исследовать альтернативные ответы, которые модель рассматривала. Logprob может быть любым отрицательным числом или 0.0. 0.0 соответствует 100% вероятности. Logprobs позволяют нам вычислить совместную лог-вероятность последовательности путем суммирования лог-вероятностей ее токенов. Экспоненцирование этой суммы дает совместную вероятность. Это полезно для оценки и ранжирования выходных данных модели. Другой распространенный подход — взять среднюю лог-вероятность на токен для предложения, чтобы выбрать лучшую генерацию. Мы можем изучить logprobs, присвоенные различным токенам-кандидатам, чтобы понять, какие варианты модель считала правдоподобными или неправдоподобными. Хотя существует широкий спектр вариантов использования logprobs, этот notebook сосредоточится на его использовании для: Задачи классификации: Большие языковые модели превосходно справляются со многими задачами классификации, но точное измерение уверенности модели в ее выходных данных может быть сложной задачей. logprobs предоставляют вероятность, связанную с каждым предсказанием класса, что позволяет пользователям устанавливать пороги классификации или уверенности. Оценка извлечения (Q&A): logprobs могут помочь с самооценкой в приложениях для извлечения информации.

План урока

1. 0. Импорты и утилиты
2. 1. Использование logprobs для оценки уверенности в задачах классификации
3. 2. Оценка уверенности извлечения для уменьшения галлюцинаций
4. 3. Автодополнение
5. 4. Выделитель и параметр bytes
6. 5. Расчет перплексии
7. 6. Заключение
8. 7. Возможные расширения