Автоматически разбираем счета и формы с Pydantic

О чём урок

Этот notebook демонстрирует, как преобразовать файл PDF, чтобы его мог прочитать Gemini API. Первая задача — установить Python SDK google-genai и получить ключ API. Если у вас его нет, вы можете получить его в Google AI Studio: Получить ключ Gemini API. Если вы новичок в Google Colab, ознакомьтесь с quickstart). После того как у вас есть SDK и ключ API, вы можете создать клиент и определить модель, которую будете использовать — новую модель Gemini Flash, которая доступна через бесплатный уровень с 1500 запросами в день (по состоянию на 06.02.2025). Примечание: Если вы хотите использовать Vertex AI, см. здесь, как создать свой клиент Модели Gemini способны обрабатывать изображения и видео, которые можно использовать со строками base64 или с помощью API files. После загрузки файла вы можете напрямую включить URI файла в вызов. Python API включает методы загрузки и удаления. Для этого примера у вас есть 2 образца PDF: один базовый счёт и одна форма с рукописными значениями. Теперь вы можете загрузить файлы, используя наш клиент с методом upload. Давайте попробуем это для одного из файлов. Примечание: File API позволяет хранить до 20 ГБ файлов на проект, с максимальным размером файла 2 ГБ. Файлы хранятся в течение 48 часов. К ним можно получить доступ в этот период с помощью вашего ключа API, но их нельзя скачать. файлов доступна бесплатно. После загрузки файла вы можете проверить, в сколько tokens он был преобразован. Это не только помогает нам понять контекст, с которым вы работаете, но и отслеживать стоимость. Structured Outputs — это функция, которая гарантирует, что Gemini всегда генерирует ответы, соответствующие предопределенному формату, такому как JSON Schema. Это означает, что у вас больше контроля над output и тем, как интегрировать его в наше приложение, поскольку гарантируется возврат действительного объекта JSON с определенной вами схемой.

План урока

1. 1. Настройка среды и создание клиента для инференса
2. 2. Работа с PDF и другими файлами
3. 3. Структурированные выходные данные с Gemini 2.0 и Pydantic
4. 4. Извлечение структурированных данных из PDF с помощью Gemini 2.0
5. Invoice.pdf
6. handwriting_form.pdf
7. Узнать больше
8. Порядок свойств с Gemini 2.0