О чём урок
Этот notebook описывает, как выполнять fine-tuning для повышения точности и надёжности function calling. Более подробную информацию о function calling можно найти здесь, а о fine-tuning — здесь
Для контекста, из упомянутого выше notebook по function calling:
tools — это необязательный параметр в Chat Completion API, который можно использовать для предоставления спецификаций функций. Его цель — позволить моделям генерировать аргументы функций, соответствующие предоставленным спецификациям. Обратите внимание, что API фактически не будет выполнять никаких вызовов функций. Разработчики должны самостоятельно выполнять вызовы функций, используя выходы модели.
Function calling — очень мощный инструмент, когда он работает должным образом. Однако мы заметили, что по мере увеличения количества функций и сложности решаемой задачи точность function calling снижается (например: появляется больше галлюцинаторных и некорректных вызовов).
Перед выполнением fine-tuning для function calling лучше всего начать с:
- Улучшения определений функций. Сделайте их более ясными и отличающимися друг от друга.
- Эксперименты с prompt engineering: часто более подробный prompt может помочь модели вызвать правильную функцию.
Если описанные выше шаги не приводят к удовлетворительному улучшению function calling, тогда можно попробовать выполнить fine-tuning для function calling.
Этот notebook содержит три раздела
- Оценка базовой производительности function calling: Оценка готовой модели gpt-3.5-turbo на нашей заданной функции (предположим, что по причинам задержки и стоимости мы не можем использовать gpt-4o для дрона-копилота)
- Генерация синтетических данных: Использование gpt-4o для создания «золотого» набора prompt'ов и вызовов функций для использования в качестве обучающих данных
- Fine-tuning: Запуск задачи fine-tuning и оценка fine-tuned модели
Примечание: Этот notebook предоставляет пример того, как создавать синтетические обучающие данные для fine-tuning для function calling, имея только список функций. Хотя реальные производственные тестовые оценки предпочтительнее, этот метод даёт хорошие результаты и может использоваться в сочетании с реальными обучающими данными.
Определим вспомогательные функции для вызовов Chat Completions API: одну для получения завершения, другую для получения function call.
Давайте создадим интеллектуального дрона-копилота. Мы хотим иметь возможность отдавать команды копилоту, чтобы он либо…
План урока
- Обзор
- Вспомогательные функции
- Базовое тестирование
- Сначала сгенерируем каждый вызов для каждой функции
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.