Урок из полного доступа, первые уроки курса бесплатно Официальный курс Mistral AI Cookbook на русском
Урок 52 · Текст · ~5 мин

Как оценивать качество LLM

Урок 52 из 154 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

  • Шаг 1: Определите шаблон prompt'а
  • Шаг 2: Определите, как мы сравниваем ответ модели с эталонным ответом
  • Шаг 3: Вычислите показатель точности для всех тестовых случаев
  • Шаг 1: Определите шаблон prompt'а
  • Шаг 2: Определите, как мы оцениваем генерацию кода
  • Шаг 3: Вычислите показатель точности для всех тестовых случаев
  • Шаг 1: Сгенерируйте резюме для данной новости
  • Шаг 2: Определите метрики и рубрики оценки
  • Шаг 3: Используйте более мощную LLM (например, Mistral Large) в качестве судьи

План урока

  1. Пример 1: Бенчмарк извлечения информации с оценкой точности
  2. Данные для оценки
  3. Как оценивать?
  4. Пример 2: оценка генерации кода

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Mistral AI 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Mistral AI (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды