О чём урок
Понимание токенов является центральным для использования Gemini API. Это руководство предоставит интерактивное введение в то, что такое токены и как они используются в Gemini API.
LLM разбивают свой ввод и производят свой вывод с гранулярностью, которая меньше слова, но больше одного символа или кодовой точки.
Эти токены могут быть отдельными символами, такими как z, или целыми словами, такими как the. Длинные слова могут быть разбиты на несколько токенов. Набор всех токенов, используемых моделью, называется словарем, а процесс разбиения текста на токены называется токенизацией.
Для моделей Gemini один токен эквивалентен примерно 4 символам. 100 токенов — это примерно 60-80 английских слов.
Когда включена оплата, цена платного запроса контролируется количеством входных и выходных токенов, поэтому важно знать, как подсчитывать свои токены.
Примечание: Этот блокнот использует Interactions API, новейший способ взаимодействия с моделями Gemini. Ищете версию generateContent? Проверьте архивную ветку.
Установите SDK из PyPI.
Чтобы запустить следующую ячейку, ваш ключ API должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать Colab Secret, см. Аутентификация для пошагового руководства.
С новым SDK теперь вам нужно только инициализировать клиент с вашим ключом API (или OAuth, если вы используете Vertex AI). Модель теперь устанавливается в каждом вызове.
Модели, доступные через Gemini API, имеют окна контекста, которые измеряются в токенах. Они определяют, сколько входных данных вы можете предоставить и сколько выходных данных может сгенерировать модель, и вместе они называются "окном контекста". Эта информация доступна непосредственно через API и в документации по моделям.
В этом примере вы можете видеть, что модель gemini-3.7-flash имеет окно контекста в 1 миллион токенов. Если вам нужно больше, модели Pro имеют еще большее окно контекста в 2 миллиона токенов.
API предоставляет конечную точку для подсчета количества токенов в запросе: client.models.count_tokens.
Выберите модель, которую вы хотите использовать…
План урока
- О токенах
- Настройка
- Установка SDK
- Настройка ключа API
- Инициализация клиента SDK
- Токены в Gemini API
- Окна контекста
- Подсчет токенов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.