Рассуждающие модели пишут регламенты для поддержки

О чём урок

При разработке решений для обслуживания клиентов одним из первоначальных шагов является преобразование статей базы знаний в набор рутин, которые LLM может понимать и выполнять. Рутина в этом контексте относится к набору пошаговых инструкций, разработанных специально для эффективного выполнения LLM. Каждая рутина тщательно структурирована таким образом, чтобы каждый шаг соответствовал чёткому действию. Действия могут включать ответ пользователю, вызов функции (function call) или получение дополнительной релевантной информации. Большинство внутренних статей базы знаний сложны и структурированы для интерпретации человеком. Они часто содержат сложные диаграммы, многоэтапные процессы и деревья решений, которые создают трудности для LLM-решений при осмысленном рассуждении. Разбивая эти документы на рутины, каждую инструкцию можно упростить и отформатировать таким образом, чтобы направлять LLM через серию небольших, управляемых задач. Этот детализированный подход уменьшает двусмысленность, позволяя LLM методично обрабатывать информацию и снижая риск галлюцинаций или отклонения от ожидаемого пути. Преобразование этих статей базы знаний в рутины может быть трудоёмким и сложным, особенно для компаний, пытающихся построить автоматизированный пайплайн. Каждая рутина должна учитывать различные пользовательские сценарии, где действия должны быть чётко определены. Например, когда необходим вызов функции (function call), рутина должна указывать точную информацию для извлечения или действие для выполнения — будь то запуск API, получение внешних данных или подтягивание дополнительного контекста. Хотя автоматизация этого процесса с помощью традиционных моделей класса GPT может значительно сократить ручные усилия, она часто порождает новые проблемы. Некоторые из этих проблем включают разработку надёжных инструкций, достаточно специфичных для последовательного выполнения LLM, учёт уникальных граничных случаев (edge cases), которые могут возникнуть во время взаимодействия с клиентами, предоставление высококачественных few-shot примеров для направления поведения модели, а в некоторых случаях — fine-tuning модели для достижения более надёжных или специализированных результатов. o1 продемонстрировал способность эффективно деконструировать эти статьи и преобразовывать их в наборы рутин zero-shot, что означает, что LLM может понимать и следовать инструкциям без обширных примеров или предварительного обучения на аналогичных задачах.

План урока

1. Выбор статей базы знаний
2. Результаты
3. Что дальше?