О чём урок
Ограничитель — это набор правил и проверок, разработанных для обеспечения точности, уместности и соответствия ожиданиям пользователя в выходных данных LLM. Для получения дополнительной информации о разработке ограничителей вы можете обратиться к этому руководству по разработке ограничителей. В этом notebook мы рассмотрим процесс разработки выходного ограничителя, который специально проверяет выходные данные модели на наличие галлюцинаций. Этот notebook будет посвящен: Созданию надежного eval set Определению конкретных критериев для измерения галлюцинаций Повышению точности нашего ограничителя с помощью few-shot prompting Представьте, что мы — команда поддержки клиентов, которая разрабатывает автоматизированного агента поддержки. Мы будем предоставлять помощнику информацию из нашей базы знаний о конкретном наборе политик по обработке заявок, таких как возвраты, возмещения, обратная связь, и ожидаем, что модель будет следовать этим политикам при взаимодействии с клиентами. Первое, что мы сделаем, это используем GPT-4o для создания набора политик, которым мы будем следовать. Если вы хотите углубиться в генерацию синтетических данных, вы можете ознакомиться с нашим Cookbook по генерации синтетических данных здесь Далее мы возьмем эти политики и сгенерируем примеры взаимодействий с клиентами, которые либо следуют, либо не следуют инструкциям. Теперь давайте пройдемся по политикам и сгенерируем несколько примеров. accurate kb_article chat_history assistant_response 0 true PRODUCT FEEDBACK POLICY 1. **Acknowledge Recep... [{'role': 'user', 'content': 'I wanted to let ... {'role': 'assistant', 'content': 'Thank you fo... accurate kb_article chat_history assistant_response 0 true PRODUCT FEEDBACK POLICY 1. **Acknowledge Recep... [{'role': 'user', 'content': 'I wanted to let ... {'role': 'assistant', 'content': 'Thank you fo... 1 true PRODUCT FEEDBACK POLICY 1. **Acknowledge Recep... [{'role': 'user', 'content': 'I wanted to let ... {'role': 'assistant', 'content': 'Thank you fo... 2 true PRODUCT FEEDBACK POLICY 1. **Acknowledge Recep... [{'role': 'user', 'content': 'I wanted to let ... {'role': 'assistant', 'content': 'Thank you fo... 3 true PRODUCT FEEDBACK POLICY\n\n1. **Acknowledge Re... [{'role': 'user', 'content': 'I really enjoyed...
План урока
- Разработка ограничителей галлюцинаций
- 1. Создание eval set
- 2. Создание нашего ограничителя галлюцинаций
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.