Параметры модели

Цели урока

• Понять роль параметра max_tokens
• Использовать параметр temperature для управления ответами модели
• Объяснить назначение stop_sequence

О чём урок

Как всегда, начнем с импорта `anthropic` SDK и загрузки нашего API ключа: Существует 3 обязательных параметра, которые мы должны включать каждый раз при отправке запроса Claude: model max_tokens messages До сих пор мы использовали параметр max_tokens в каждом нашем запросе, но не останавливались, чтобы обсудить, что это такое. Вот самый первый запрос, который мы сделали: Итак, каково назначение max_tokens? Коротко говоря, max_tokens контролирует максимальное количество токенов, которые Claude должен сгенерировать в своем ответе. Прежде чем продолжить, давайте на мгновение остановимся, чтобы обсудить токены. Большинство больших языковых моделей не "думают" целыми словами, а вместо этого работают с серией фрагментов слов, называемых токенами. Токены — это небольшие строительные блоки текстовой последовательности, с помощью которых Claude обрабатывает, понимает и генерирует тексты. Когда мы предоставляем prompt Claude, этот prompt сначала преобразуется в токены и передается модели. Затем модель начинает генерировать свой вывод по одному токену за раз. Для Claude один токен примерно представляет 3,5 английских символа, хотя точное число может варьироваться в зависимости от используемого языка. Параметр max_tokens позволяет нам установить верхний предел количества токенов, которые Claude генерирует для нас. В качестве иллюстрации, предположим, что мы просим Claude написать нам стихотворение и устанавливаем max_tokens на 10. Claude начнет генерировать токены для нас и немедленно остановится, как только достигнет 10 токенов. Это часто приводит к усеченным или неполным выходным данным. Давайте попробуем! Вот что мы получили от Claude: Here is a poem for you: The Если вы запустите приведенный выше код, вы, вероятно, получите другой результат, который будет также усечен. Claude начал писать нам стихотворение, а затем немедленно остановился после генерации 10 токенов. Мы также можем проверить свойство stop_reason объекта Message ответа, чтобы узнать, ПОЧЕМУ модель прекратила генерацию.

План урока

1. Параметры модели
2. Max tokens
3. Tokens
4. Работа с max_tokens
5. Зачем менять max tokens?
6. Stop sequences
7. Temperature
8. System prompt