Защита от галлюцинаций: строим свой фильтр

О чём урок

Ограничитель — это набор правил и проверок, разработанных для обеспечения точности, уместности и соответствия ожиданиям пользователя в выходных данных LLM. Для получения дополнительной информации о разработке ограничителей вы можете обратиться к этому руководству по разработке ограничителей.

В этом notebook мы рассмотрим процесс разработки выходного ограничителя, который специально проверяет выходные данные модели на наличие галлюцинаций.

Этот notebook будет посвящен:

1. Созданию надежного eval set
2. Определению конкретных критериев для измерения галлюцинаций
3. Повышению точности нашего ограничителя с помощью few-shot prompting

Представьте, что мы — команда поддержки клиентов, которая разрабатывает автоматизированного агента поддержки. Мы будем предоставлять помощнику информацию из нашей базы знаний о конкретном наборе политик по обработке заявок, таких как возвраты, возмещения, обратная связь, и ожидаем, что модель будет следовать этим политикам при взаимодействии с клиентами.

Первое, что мы сделаем, это используем GPT-4o для создания набора политик, которым мы будем следовать.

Если вы хотите углубиться в генерацию синтетических данных, вы можете ознакомиться с нашим Cookbook по генерации синтетических данных здесь

Далее мы возьмем эти политики и сгенерируем примеры взаимодействий с клиентами, которые либо следуют, либо не следуют инструкциям.

Теперь давайте пройдемся по политикам и сгенерируем несколько примеров.

При создании нашего ограничителя галлюцинаций следует придерживаться следующих руководящих принципов:

1. Предоставлять очень подробные метрики для оценки точности ответа

• Важно разбить понятие «истины» на легко измеряемые метрики
• Такие метрики, как правдивость и релевантность, трудно измерить. Предоставление конкретных способов оценки утверждения может привести к более точному ограничителю

1. Обеспечивать единообразие ключевой терминологии

• Важно сохранять единообразие соответствующих терминов, таких как статьи базы знаний, помощники и пользователи, во всем prompt
• Если мы начнем использовать фразы типа «помощник» против «агента», модель может запутаться

1. Начинать с самой продвинутой модели

• При использовании самых продвинутых моделей существует компромисс между стоимостью и качеством. Хотя GPT-4o может быть дороже, важно начинать с самой продвинутой модели, чтобы обеспечить высокую степень точности
• После того как мы тщательно протестируем ограничитель и убедимся в…

План урока

1. Разработка ограничителей галлюцинаций
2. 1. Создание eval set
3. 2. Создание нашего ограничителя галлюцинаций