Оценки на синтетических данных и замер галлюцинаций

О чём урок

При развертывании Llama для вашего сценария использования рекомендуется иметь Evals для вашего сценария использования. Хотя в идеале Evals должны быть аннотированы человеком, этот notebook демонстрирует стратегию решения этой задачи с использованием синтетических данных. Однако сгенерированные Evals по-прежнему требуют проверки человеком, чтобы убедиться в их надежности для вашего производственного сценария использования. В notebook также показано, как можно точно измерять галлюцинации без использования методологии LLM-As-A-Judge с помощью Llama Предположим, у нас есть сценарий использования для генерации отчета-резюме на основе заданного контекста, что является довольно распространенным сценарием использования с LLM. Как контекст, так и отчет содержат много фактической информации, и мы хотим убедиться, что сгенерированный отчет не содержит галлюцинаций. Поскольку найти открытый набор данных для этого нетривиально, идея состоит в том, чтобы взять синтетические табличные данные, а затем использовать Llama для генерации истории (контекста) для каждой строки табличных данных с помощью Prompt Engineering. Затем мы просим Llama резюмировать сгенерированный контекст в виде отчета в определенном формате с использованием Prompt Engineering. Наконец, мы проверяем фактическую точность сгенерированного отчета с помощью Llama, преобразуя это в задачу QA, используя табличные данные в качестве эталонных. Для генерации синтетических данных для этого подхода мы используем инструмент с открытым исходным кодом, такой как Synthetic Data Vault Общий рабочий процесс показан на диаграмме ниже SDV содержит ряд наборов данных с одной таблицей. Для этого notebook мы выбираем набор данных student_placements.

План урока

1. Общая идея
2. Установка Synthetic Data Vault
3. Генерация синтетических данных из реальных данных
4. Загрузка предварительно сгенерированных синтетических табличных данных
5. Генерация синтетических данных с помощью Llama-3.3-70B-Instruct
6. Альтернативный подход
7. Генерация 12 примеров синтетических данных с использованием этого цикла
8. Пример контекста и отчета