Ассистент Google Календаря на Llama 3.2 3B

О чём урок

Этот notebook демонстрирует, как создать цифрового ассистента для планирования встреч с моделью Llama 3.2 3B. Ключевые концепции, используемые для реализации, — это Prompt Engineering и Tool Calling. Эта демонстрация показывает, как Llama может взаимодействовать со сторонними приложениями, такими как Google Контакты и Google Календарь, и планировать встречу по запросу пользователя. Несмотря на использование prompt engineering для достижения этой цели, описанный подход не ухудшает способность модели отвечать на общие запросы. Этот подход может быть расширен для выполнения других задач аналогичным образом, не влияя на качество других задач. Вместо использования сложного системного prompt с множеством условий и ожидания, что Llama будет точно выполнять различные задачи «из коробки», предлагаемый подход рассматривает это как двухэтапный процесс: Определение намерения пользователя — классификация задачи; Выполнение действия для конкретной задачи с использованием Tool Calling. На диаграмме ниже: system prompt 1 определяет классификацию запроса; На шагах 2 и 3 мы классифицируем запрашиваемую задачу; system prompt 2 выбирается на основе результата классификации; Шаги 4 и 5 реализуют классифицированную задачу; Для демонстрации мы показываем 2 класса: General и Meeting. Обе эти задачи имеют специфический prompt. Мы используем одну и ту же модель с разными системными prompt в зависимости от результата классификации. Кроме того, эта демонстрация также показывает, как Llama может использоваться для двойного Tool Calling с одним prompt. В случае Meeting Llama возвращает два вызова функции на шаге 5. Действия на основе вывода Tool Calling Вызов функции google_contact, возвращенный моделью, используется для обращения к People API с целью поиска адреса электронной почты интересующего лица. Адрес электронной почты из предыдущего шага используется для обращения к Calendar API вместе с другой информацией из вывода google_calendar toolcall, возвращенного моделью. Конечный результат — это запланированная встреча в Google с интересующим лицом в указанные дату и время. Эта демонстрация также призвана показать, что Tool Calling может быть эффективно реализован даже с моделью 3B.

План урока

1. Подход
2. Загрузка модели Llama 3.2-3B-Instruct
3. Определение функций для доступа к People (google_contact) и Google Calendar (google_calendar) API
4. Установка необходимых библиотек
5. Функция для обработки вывода Tool Calling и вызова Google API
6. Функции для вызова Llama для двух задач: General и Setup Meeting
7. Демонстрация с общим запросом
8. Демонстрация с запросом на организацию встречи, использующим Tool Calling и вызывающим Google API