Урок из полного доступа, первые уроки курса бесплатно Официальный курс Llama Cookbook на русском
Урок 12 · Текст · ~5 мин

Вызов инструментов: Llama ищет различия между статьями

Урок 12 из 32 курса «Llama: сценарии использования»: официальный курс Llama Cookbook (Мета Лама) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Изображение ниже иллюстрирует демонстрацию в этом notebook.

Цель: Использовать модель Meta-Llama-3.3-70b для поиска различий между двумя статьями

  • Шаг 1: Получить пользовательский запрос
  • Шаг 2: Выполнить интернет-поиск с использованием tavily API для получения ID(s) статей из arxiv на основе пользовательского запроса

Примечание: Модели 3.3 также поддерживают brave_search, но этот notebook также призван продемонстрировать zero-shot custom tools.

Вышеизложенное важно, потому что часто пользовательский запрос отличается от названия статьи и ID arxiv — это поможет нам на следующем шаге

  • Шаг 3: Использовать результаты веб-поиска для извлечения ID(s) статей из arxiv

Здесь мы будем использовать модель 8b, потому что кому хочется иметь дело со сложными regex, ведь это основной сценарий использования LLM(s), не так ли? :D

  • Шаг 4: Использовать arxiv API для загрузки PDF(s) статей по пользовательскому запросу
  • Шаг 5: Для удобства мы извлечем первые 80 тысяч слов из PDF и запишем их в файл .txt, который затем сможем резюмировать
  • Шаг 6: Использовать экземпляры модели Meta-Llama-3.3-8b для резюмирования двух PDF(s)
  • Шаг 7: Сформировать prompt для модели 70b, чтобы получить различия между двумя обсуждаемыми статьями

Мы начнем с описания всех модулей с изображения выше, чтобы убедиться в работоспособности нашей логики.

Во второй половине этого notebook мы напишем простую функцию для обработки логики вызова функций

Мы будем использовать MAIN_SYSTEM_PROMPT и main_model_chat_history для отслеживания обсуждения, поскольку мы используем 4 экземпляра LLM(s) в дополнение к этому.

Обратите внимание, если вы были внимательны и заметили, что SYSTEM_PROMPT здесь отличается — спасибо за внимательное чтение! Всегда хорошая идея следовать официальным рекомендациям.

Однако, когда речь идет о написании сложного regex, мы можем немного отойти от правил :D

Обратите внимание, мы наметим функции здесь и определим их по ходу дела

Мы будем использовать это для обработки всех пользовательских входных данных

Если вы помните из Tool_Calling_101.ipynb…

План урока

  1. Часть 1: Определение компонентов
  2. Установка необходимых библиотек
  3. Необходимые импорты
  4. Основной поток LLM
  5. Определение экземпляра model_chat
  6. Tavily API
  7. Извлечение ID Arxiv
  8. Загрузка статей и извлечение деталей

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы Meta Llama 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от Meta Llama (2 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды