О чём урок
При развертывании Llama для вашего сценария использования рекомендуется иметь Evals для вашего сценария использования. Хотя в идеале Evals должны быть аннотированы человеком, этот notebook демонстрирует стратегию решения этой задачи с использованием синтетических данных. Однако сгенерированные Evals по-прежнему требуют проверки человеком, чтобы убедиться в их надежности для вашего производственного сценария использования. В notebook также показано, как можно точно измерять галлюцинации без использования методологии LLM-As-A-Judge с помощью Llama
Предположим, у нас есть сценарий использования для генерации отчета-резюме на основе заданного контекста, что является довольно распространенным сценарием использования с LLM. Как контекст, так и отчет содержат много фактической информации, и мы хотим убедиться, что сгенерированный отчет не содержит галлюцинаций.
Поскольку найти открытый набор данных для этого нетривиально, идея состоит в том, чтобы взять синтетические табличные данные, а затем использовать Llama для генерации истории (контекста) для каждой строки табличных данных с помощью Prompt Engineering. Затем мы просим Llama резюмировать сгенерированный контекст в виде отчета в определенном формате с использованием Prompt Engineering. Наконец, мы проверяем фактическую точность сгенерированного отчета с помощью Llama, преобразуя это в задачу QA, используя табличные данные в качестве эталонных.
Для генерации синтетических данных для этого подхода мы используем инструмент с открытым исходным кодом, такой как Synthetic Data Vault
Общий рабочий процесс показан на диаграмме ниже
SDV содержит ряд наборов данных с одной таблицей. Для этого notebook мы выбираем набор данных student_placements.
В этом разделе мы используем Llama-3.3-70B-Instruct для создания истории на основе табличных данных, а затем генерируем экстрактивный сводный отчет из сгенерированного контекста. Вы можете попробовать использовать Llama-3.1-8B-Instruct, но мы наблюдали лучшие результаты с моделью 70B для генерации синтетических данных.
В разделе ниже мы выбираем табличные данные в качестве эталонных и генерируем весь контекст и отчеты из таблицы. Другой подход заключается в использовании нескольких примеров для few shot prompting и использовании Llama для генерации контекста и истории из…
План урока
- Общая идея
- Установка Synthetic Data Vault
- Генерация синтетических данных из реальных данных
- Загрузка предварительно сгенерированных синтетических табличных данных
- Генерация синтетических данных с помощью Llama-3.3-70B-Instruct
- Альтернативный подход
- Генерация 12 примеров синтетических данных с использованием этого цикла
- Пример контекста и отчета
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.