Выбираем модель по конверсии в Stripe

О чём урок

Наилучшая модель для вас зависит от ваших бизнес-целей. Многие стартапы выбирают большие языковые модели (LLM) на основе офлайн-оценок и публичных бенчмарков. Однако модель, которая достигает высоких показателей на бенчмарке, не обязательно приведет к тому, что ваши пользователи будут платить, подписываться или продолжать использовать ваш продукт. Модели, которые выглядят сильными на бумаге, могут показывать низкие результаты при измерении по фактическим бизнес-показателям. В этом руководстве описывается подход к оценке, основанный на одном из наиболее важных бизнес-результатов для стартапов: готовности людей платить за ваш продукт. Мы рассмотрим процесс оценки моделей HyperWrite, сосредоточившись на реальной конверсии платежей — в частности, платежей Stripe за разовые покупки или подписки с ежемесячным регулярным доходом (MRR). Если ваша цель — улучшить коэффициенты конверсии или поддерживать их при переходе на менее дорогую модель, этот пример оценки может стать полезным шаблоном для подражания. Чтобы применить это руководство к вашему бизнесу, вам потребуется: Платежный процессор. В этом примере мы используем Stripe, но вы можете внести небольшие корректировки и использовать тот же подход с любым поставщиком платежных услуг. Достаточное количество пользователей для получения значимого сигнала. Стремитесь к тому, чтобы на каждый тестовый вариант приходилось не менее тысячи пользователей. Для более высокой статистической значимости потребуется больше пользователей. Продукт на базе AI с событием конверсии. Мы используем LLM-приложение, и нашим событием конверсии является платеж. Тот же подход к тестированию применим к приложениям, построенным на основе голоса, видео и других модальностей. HyperWrite создает инструменты для письма и ассистентов для исследований на базе AI. Основное предложение компании — это ассистент для письма с расширенными исследовательскими возможностями. Офлайн-бенчмарки не предсказывали то, что было наиболее важно для HyperWrite: будут ли пользователи взаимодействовать с ассистентом для письма таким образом, чтобы это привело их к подписке и дальнейшему использованию продукта.

План урока

1. Обзор
2. Предварительные условия и область применения
3. Выбор модели на основе вашей реальной цели
4. Что движет стартапами: конверсия
5. Как проводить A/B-тестирование для выбора модели
6. Основы: одна модель против другой
7. Пример из реального мира: тест HyperWrite по замене модели
8. Установка параметров: Что считается победой?