О чём урок
В мире искусственного интеллекта Claude от Anthropic известен своей способностью к глубокому пониманию и генерации текста. Однако его возможности выходят далеко за рамки текстовых взаимодействий. Claude также способен "видеть" и интерпретировать изображения, открывая совершенно новые горизонты для взаимодействия с искусственным интеллектом. Эта функция позволяет включать изображения в ваши сообщения и просить Claude анализировать, сравнивать, подсчитывать объекты или выполнять практически любую визуальную задачу, которую вы можете себе представить. Это открывает мощные возможности для приложений, начиная от анализа документов и заканчивая автоматизированными оценками рисков.
При работе с изображениями в Claude через API важно учитывать несколько ключевых ограничений и особенностей:
- Количество изображений: В одном запросе (across all messages) можно отправить до 20 изображений.
- Максимальный размер файла: Каждое изображение не должно превышать 3.75 МБ.
- Максимальные размеры пикселей: Максимальная высота или ширина изображения составляет 8000 пикселей.
- Токенизация изображений: Каждое изображение преобразуется в определенное количество токенов, которые учитываются в общем лимите контекста. Количество токенов для изображения рассчитывается по формуле: (ширина в пикселях × высота в пикселях) / 750. Это означает, что более крупные изображения потребляют больше токенов.
Чтобы включить изображение в сообщение, вы добавляете его как отдельную часть сообщения. Для каждого изображения, которое вы хотите отправить, вы включаете одну часть типа "image" в ваше пользовательское сообщение. Структура такого сообщения выглядит следующим образом:
Здесь "format" указывает на тип изображения (например, "png", "jpeg", "gif", "webp"), а "source" содержит сами данные изображения в виде байтов. Вы можете отправить несколько изображений в одном сообщении, добавив несколько таких частей. Claude затем может анализировать взаимосвязи между изображениями, сравнивать их или отвечать на вопросы, требующие понимания нескольких визуальных входных данных.
Самое важное, что нужно понимать о возможностях зрения Claude, это то, что все те же методы prompt engineering, которые вы используете для текстовых взаимодействий, применимы и к изображениям.
Например, вместо того чтобы просто спросить: "Сколько шариков на этом изображении?", вы можете предложить структурированный подход…
План урока
- Возможности зрения Claude: Как ИИ "видит" и анализирует изображения
- Основы работы с изображениями в Claude
- Техники промптинга для визуального анализа
- Пример из реального мира: Автоматизированная оценка пожарных рисков
- Заключение
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.