Проектирование через оценки: от прототипа до продакшена

О чём урок

Это руководство представляет собой практическое, комплексное руководство по эффективному использованию evals в качестве основного процесса при создании автономной системы промышленного уровня для замены трудоемкого человеческого рабочего процесса. Это прямой результат совместного опыта работы над проектами, где пользователи могли не иметь изначально безупречных размеченных данных или полного понимания проблемы — две проблемы, которые большинство учебных пособий обходят стороной, но на практике почти всегда являются серьезными вызовами. Использование evals в качестве основного процесса предотвращает метод проб и ошибок, а также субъективные оценки точности, вместо этого требуя инженерной строгости. Это означает, что мы можем принимать принципиальные решения относительно компромиссов в затратах и инвестициях. Это руководство предназначено для ML/AI-инженеров и Solution Architects, которые ищут практическое руководство, выходящее за рамки вводных учебных пособий. Этот notebook полностью исполняем и организован максимально модульно для поддержки использования примеров кода непосредственно в ваших собственных приложениях. Мы будем следовать реалистичному сценарию: замена ручной службы анализа чеков для проверки расходов. Начните с малого: Начните с очень небольшого набора размеченных данных (розничные чеки). Многие компании не располагают хорошими наборами эталонных данных (ground truth). Развивайтесь постепенно: Разработайте минимально жизнеспособную систему и установите начальные evals. Согласование с бизнесом: Оценивайте производительность evals в контексте бизнес-KPI и финансового воздействия, а также направляйте усилия на избегание работы над улучшениями с низким влиянием. Итерации, управляемые evals: Итеративно улучшайте, используя оценки evals для стимулирования улучшений модели, а затем используя более качественные модели на большем объеме данных для расширения evals и выявления новых областей для улучшения. Это руководство структурировано как eval-ориентированный путеводитель по жизненному циклу создания LLM-приложения. Если вас в первую очередь интересуют представленные идеи, прочитайте текст и бегло просмотрите код. Если вы здесь из-за другого проекта, над которым работаете, вы можете сразу перейти к соответствующему разделу, изучить код, скопировать его и адаптировать под свои нужды.

План урока

1. Обзор
2. Цель этого руководства
3. Целевая аудитория
4. Основной сценарий: От малого начала до производственной системы
5. Как использовать это руководство
6. Вариант использования: Парсинг чеков
7. Определение проблемы
8. Обзор набора данных