Обрабатываем датасеты через Batch API

О чём урок

Этот notebook демонстрирует, как обрабатывать загруженный набор данных JSONL с помощью Batch API. Для его использования вам потребуется включить логирование и собрать некоторые логи в набор данных. Подробности этого процесса см. в документации по логированию и наборам данных. Установите SDK и пройдите аутентификацию. Чтобы запустить следующую cell, ваш API key должен быть сохранен в Colab Secret с именем GEMINI_API_KEY. Если у вас еще нет API key или вы не знаете, как создать Colab Secret, см. Аутентификация для примера. Чтобы загрузить ваш набор данных, посетите панель мониторинга логов AI Studio, выберите ваш проект и набор данных, затем выберите Export dataset в формате JSONL. На следующем шаге вы загрузите файл JSONL в этот notebook для обработки. Здесь вы проведете анализ этого набора данных с использованием двух различных моделей. Для этого упражнения существующие output'ы и имена моделей будут очищены, так как Batch API требует единообразия имени модели во всех batch'ах, в то время как наборы данных могут быть собраны из нескольких моделей. Теперь загрузите очищенный набор данных через File API, чтобы его можно было использовать для inference. Теперь определите и запустите batch'и. Этот пример запустит batch против Gemini 3.7 Flash и Pro. Дождитесь завершения batch'ей. Это может занять до 24 часов. Когда результаты будут готовы, загрузите полученные данные. Для сравнения результатов вам потребуется функция оценки. На практике вы можете оценивать различными способами (например, путем сравнения, с использованием LLM). Этот пример предполагает, что модель должна вызывать функцию, чтобы считаться корректной. Обновите is_correct в соответствии с вашими критериями оценки, возвращая True, когда результат хороший, и False в противном случае. Дополнительную информацию о логировании и наборах данных см. в: Документации по логированию и наборам данных Cookbook'е по Batch API

План урока

1. Настройка
2. Добавьте ваш набор данных
3. Оценка с использованием различных моделей
4. Дальнейшие шаги