Как оценивать качество LLM

Урок 52 из 148 курса «Mistral AI Cookbook»: официальный курс Mistral AI Cookbook (Мистраль) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Шаг 1: Определите шаблон prompt'а Шаг 2: Определите, как мы сравниваем ответ модели с эталонным ответом Шаг 3: Вычислите показатель точности для всех тестовых случаев Шаг 1: Определите шаблон prompt'а Шаг 2: Определите, как мы оцениваем генерацию кода Шаг 3: Вычислите показатель точности для всех тестовых случаев Шаг 1: Сгенерируйте резюме для данной новости Шаг 2: Определите метрики и рубрики оценки Шаг 3: Используйте более мощную LLM (например, Mistral Large) в качестве судьи

План урока

  1. Пример 1: Бенчмарк извлечения информации с оценкой точности
  2. Данные для оценки
  3. Как оценивать?
  4. Пример 2: оценка генерации кода

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Полезные гиды