Какую модель выбрать

Цели урока

• Понять различные модели Claude
• Сравнить скорость и возможности моделей Claude

О чём урок

Начнем с импорта anthropic SDK и загрузки нашего API ключа:

Python SDK Claude поддерживает несколько моделей, каждая из которых имеет различные возможности и характеристики производительности. Эта визуализация сравнивает стоимость и скорость для моделей Claude 3 и 3.5, демонстрируя диапазон компромиссов между стоимостью и интеллектом:

При выборе модели следует учитывать несколько важных факторов:

• Задержка модели (насколько она быстрая?)
• Возможности модели (насколько она умна?)
• Стоимость модели (насколько она дорога?)

Обратитесь к этой таблице для сравнения основных характеристик и возможностей каждой модели семейства Claude.

Ниже приведена простая функция, которая запускает один и тот же prompt для всех 4 моделей и выводит ответ модели и время, затраченное на каждый запрос.

Точные ответы, которые вы получите при выполнении приведенного выше кода, будут отличаться, но вот таблица, обобщающая конкретный вывод, который мы получили при выполнении приведенного выше кода:

Также важно отметить, что с простым prompt, таким как "Объясните концепцию фотосинтеза в кратком абзаце", все модели показывают хорошие результаты. В этом конкретном случае, вероятно, имеет смысл выбрать самый быстрый и дешевый вариант.

Приведенный выше пример является простой иллюстрацией различий в скорости моделей, но это не очень строгое доказательство. Вот график, который мы сгенерировали, предоставив всем 3 моделям один и тот же входной prompt 50 раз и усреднив время ответа для каждой модели. Для обеспечения "справедливого" сравнения мы попросили модели сгенерировать чрезвычайно длинные выводы, а затем обрезали все ответы моделей до точно такого же количества токенов с использованием max_tokens (это мы рассмотрим на следующем уроке).

Очевидно, что Haiku — самая быстрая модель, так зачем нам использовать другие? Все сводится к компромиссу между скоростью модели, стоимостью и общими возможностями. Haiku самая быстрая, но ее выводы могут быть не такими высококачественными, как у Opus, в определенных ситуациях.

В целом, мы рекомендуем использовать нашу наиболее мощную модель, Claude 3.5 Sonnet, для сценариев использования, включающих: * Кодирование: Claude 3.5 Sonnet…

План урока

1. Модели
2. Модели Claude
3. Сравнение скоростей моделей
4. Сравнение возможностей моделей
5. Демонстрация возможностей
6. Выбор модели
7. Один подход: начните с Haiku
8. Оценка и обновление