Вызов инструментов: основы

Цели урока

• Настроить Groq для доступа к модели Llama 3.3 70B
• Избежать распространённых ошибок при выполнении Tool Calling с Llama
• Понять шаблоны prompt'ов для Tool Calling
• Понять, как Tool Calling'и обрабатываются "под капотом"
• Формат и поведение Tool Calling'а модели 3.2

О чём урок

Это учебное пособие покажет вам, как применять Tool Calling с использованием моделей Llama. В этом учебном пособии используются модели Llama 3.3. Для полноты картины мы демонстрируем встроенный Tool Calling, который мы представили в Llama-3.1, а именно позволяющий использовать brave_search и wolfram_alpha. Однако, пожалуйста, помните, что модели 3.3 будут отлично работать с zero-shot Tool Calling, который мы демонстрируем во втором notebook. Фактически, это рекомендуемый путь. Примечание: Если вы ищете инструкции для 3.2 Featherlight Model (1B и 3B), пожалуйста, обратитесь к соответствующим разделам на нашем веб-сайте; этот раздел охватывает модели 3.1. Мы кратко представим модели 3.2 в конце. Примечание: Новые vision модели ведут себя так же, как модели 3.1, когда вы взаимодействуете с моделями без изображения. Это часть (1/2) серии по Tool Calling; этот notebook охватит основы того, что такое Tool Calling и как его выполнять с моделями Llama 3.3. Вот что вы узнаете в этом notebook: В Части 2 мы узнаем, как построить систему, которая сможет предоставить нам сравнение двух статей. Этот подход был популяризирован статьёй Gorilla, которая показала, что большие языковые модели (LLM) могут быть fine-tuned на примерах API, чтобы научить их вызывать внешний API. Это очень здорово, потому что теперь мы можем использовать LLM как "мозг" системы и подключать её к внешним системам для выполнения действий. Проще говоря, "Llama может заказать пиццу для вас" :) С выходом Llama 3.1 модели превосходно справляются с Tool Calling'ом и поддерживают из коробки brave_search, wolfram_api и code_interpreter. Однако, сначала давайте рассмотрим распространённую ошибку. Установить API groq для доступа к моделям Llama Настроить наш клиент и пройти аутентификацию с помощью API Key(s).

План урока

1. Что такое Tool Calling?
2. Установка и настройка зависимостей Groq
3. Распространённая ошибка Tool Calling'а: Некорректный шаблон prompt'а
4. Спрашиваем модель о последних новостях
5. Спрашиваем модель о математической задаче
6. Можем ли мы решить это, используя prompt-напоминание?
7. Официальный шаблон Prompt'а
8. Теперь мы можем узнать о различных доступных форматах prompt'ов