Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 18 · Текст · ~5 мин

Оценки на синтетических данных и замер галлюцинаций

Урок 18 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

При развертывании Llama для вашего сценария использования рекомендуется иметь Evals для вашего сценария использования. Хотя в идеале Evals должны быть аннотированы человеком, этот notebook демонстрирует стратегию решения этой задачи с использованием синтетических данных. Однако сгенерированные Evals по-прежнему требуют проверки человеком, чтобы убедиться в их надежности для вашего производственного сценария использования. В notebook также показано, как можно точно измерять галлюцинации без использования методологии LLM-As-A-Judge с помощью Llama

Предположим, у нас есть сценарий использования для генерации отчета-резюме на основе заданного контекста, что является довольно распространенным сценарием использования с LLM. Как контекст, так и отчет содержат много фактической информации, и мы хотим убедиться, что сгенерированный отчет не содержит галлюцинаций.

Поскольку найти открытый набор данных для этого нетривиально, идея состоит в том, чтобы взять синтетические табличные данные, а затем использовать Llama для генерации истории (контекста) для каждой строки табличных данных с помощью Prompt Engineering. Затем мы просим Llama резюмировать сгенерированный контекст в виде отчета в определенном формате с использованием Prompt Engineering. Наконец, мы проверяем фактическую точность сгенерированного отчета с помощью Llama, преобразуя это в задачу QA, используя табличные данные в качестве эталонных.

Для генерации синтетических данных для этого подхода мы используем инструмент с открытым исходным кодом, такой как Synthetic Data Vault

Общий рабочий процесс показан на диаграмме ниже

SDV содержит ряд наборов данных с одной таблицей. Для этого notebook мы выбираем набор данных student_placements.

В этом разделе мы используем Llama-3.3-70B-Instruct для создания истории на основе табличных данных, а затем генерируем экстрактивный сводный отчет из сгенерированного контекста. Вы можете попробовать использовать Llama-3.1-8B-Instruct, но мы наблюдали лучшие результаты с моделью 70B для генерации синтетических данных.

В разделе ниже мы выбираем табличные данные в качестве эталонных и генерируем весь контекст и отчеты из таблицы. Другой подход заключается в использовании нескольких примеров для few shot prompting и использовании Llama для генерации контекста и истории из…

План урока

  1. Общая идея
  2. Установка Synthetic Data Vault
  3. Генерация синтетических данных из реальных данных
  4. Загрузка предварительно сгенерированных синтетических табличных данных
  5. Генерация синтетических данных с помощью Llama-3.3-70B-Instruct
  6. Альтернативный подход
  7. Генерация 12 примеров синтетических данных с использованием этого цикла
  8. Пример контекста и отчета

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды