Параметры модели

Цели урока

• Понять роль параметра max_tokens
• Использовать параметр temperature для управления ответами модели
• Объяснить назначение stop_sequence

О чём урок

Как всегда, начнем с импорта `anthropic` SDK и загрузки нашего API ключа:

Существует 3 обязательных параметра, которые мы должны включать каждый раз при отправке запроса Claude:

• model
• max_tokens
• messages

До сих пор мы использовали параметр max_tokens в каждом нашем запросе, но не останавливались, чтобы обсудить, что это такое.

Вот самый первый запрос, который мы сделали:

Итак, каково назначение max_tokens?

Коротко говоря, max_tokens контролирует максимальное количество токенов, которые Claude должен сгенерировать в своем ответе. Прежде чем продолжить, давайте на мгновение остановимся, чтобы обсудить токены.

Большинство больших языковых моделей не "думают" целыми словами, а вместо этого работают с серией фрагментов слов, называемых токенами. Токены — это небольшие строительные блоки текстовой последовательности, с помощью которых Claude обрабатывает, понимает и генерирует тексты. Когда мы предоставляем prompt Claude, этот prompt сначала преобразуется в токены и передается модели. Затем модель начинает генерировать свой вывод по одному токену за раз.

Для Claude один токен примерно представляет 3,5 английских символа, хотя точное число может варьироваться в зависимости от используемого языка.

Параметр max_tokens позволяет нам установить верхний предел количества токенов, которые Claude генерирует для нас. В качестве иллюстрации, предположим, что мы просим Claude написать нам стихотворение и устанавливаем max_tokens на 10. Claude начнет генерировать токены для нас и немедленно остановится, как только достигнет 10 токенов. Это часто приводит к усеченным или неполным выходным данным. Давайте попробуем!

Вот что мы получили от Claude:

Here is a poem for you:

The

Если вы запустите приведенный выше код, вы, вероятно, получите другой результат, который будет также усечен. Claude начал писать нам стихотворение, а затем немедленно остановился после генерации 10 токенов.

Мы также можем проверить свойство stop_reason объекта Message ответа, чтобы узнать, ПОЧЕМУ модель прекратила генерацию.

Конечно, если мы попробуем сгенерировать стихотворение снова с большим значением max_tokens, мы, вероятно, получим целое стихотворение:

Вот что Claude…

План урока

1. Параметры модели
2. Max tokens
3. Tokens
4. Работа с max_tokens
5. Зачем менять max tokens?
6. Stop sequences
7. Temperature
8. System prompt