Урок из полного доступа, первые уроки курса бесплатноОфициальный курс Mistral AI Cookbook на русском
Урок 52 · Текст · ~5 мин
Как оценивать качество LLM
Урок 52 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.
О чём урок
Шаг 1: Определите шаблон prompt'а
Шаг 2: Определите, как мы сравниваем ответ модели с эталонным ответом
Шаг 3: Вычислите показатель точности для всех тестовых случаев
Шаг 1: Определите шаблон prompt'а
Шаг 2: Определите, как мы оцениваем генерацию кода
Шаг 3: Вычислите показатель точности для всех тестовых случаев
Шаг 1: Сгенерируйте резюме для данной новости
Шаг 2: Определите метрики и рубрики оценки
Шаг 3: Используйте более мощную LLM (например, Mistral Large) в качестве судьи
План урока
Пример 1: Бенчмарк извлечения информации с оценкой точности
Данные для оценки
Как оценивать?
Пример 2: оценка генерации кода
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.
Откройте полный доступ
Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.
Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ