Какую модель выбрать

Цели урока

• Понять различные модели Claude
• Сравнить скорость и возможности моделей Claude

О чём урок

Начнем с импорта anthropic SDK и загрузки нашего API ключа: Python SDK Claude поддерживает несколько моделей, каждая из которых имеет различные возможности и характеристики производительности. Эта визуализация сравнивает стоимость и скорость для моделей Claude 3 и 3.5, демонстрируя диапазон компромиссов между стоимостью и интеллектом: При выборе модели следует учитывать несколько важных факторов: Задержка модели (насколько она быстрая?) Возможности модели (насколько она умна?) Стоимость модели (насколько она дорога?) Обратитесь к этой таблице для сравнения основных характеристик и возможностей каждой модели семейства Claude. Ниже приведена простая функция, которая запускает один и тот же prompt для всех 4 моделей и выводит ответ модели и время, затраченное на каждый запрос. Точные ответы, которые вы получите при выполнении приведенного выше кода, будут отличаться, но вот таблица, обобщающая конкретный вывод, который мы получили при выполнении приведенного выше кода: Модель Сгенерированные токены Время выполнения (секунды) Время на токен (секунды) claude-3-5-sonnet-20240620 146 2.56 0.02 claude-3-opus-20240229 146 7.32 0.05 claude-3-sonnet-20240229 108 2.64 0.02 claude-3-haiku-20240307 126 1.09 0.01 Также важно отметить, что с простым prompt, таким как "Объясните концепцию фотосинтеза в кратком абзаце", все модели показывают хорошие результаты. В этом конкретном случае, вероятно, имеет смысл выбрать самый быстрый и дешевый вариант. Приведенный выше пример является простой иллюстрацией различий в скорости моделей, но это не очень строгое доказательство. Вот график, который мы сгенерировали, предоставив всем 3 моделям один и тот же входной prompt 50 раз и усреднив время ответа для каждой модели. Для обеспечения "справедливого" сравнения мы попросили модели сгенерировать чрезвычайно длинные выводы, а затем обрезали все ответы моделей до точно такого же количества токенов с использованием max_tokens (это мы рассмотрим на следующем уроке). Очевидно, что Haiku — самая быстрая модель, так зачем нам использовать другие? Все сводится к компромиссу между скоростью модели, стоимостью и общими возможностями.

План урока

1. Модели
2. Модели Claude
3. Сравнение скоростей моделей
4. Сравнение возможностей моделей
5. Демонстрация возможностей
6. Выбор модели
7. Один подход: начните с Haiku
8. Оценка и обновление