Вызов инструментов: Llama ищет различия между статьями

О чём урок

Изображение ниже иллюстрирует демонстрацию в этом notebook. Цель: Использовать модель Meta-Llama-3.3-70b для поиска различий между двумя статьями Шаг 1: Получить пользовательский запрос Шаг 2: Выполнить интернет-поиск с использованием tavily API для получения ID(s) статей из arxiv на основе пользовательского запроса Примечание: Модели 3.3 также поддерживают brave_search, но этот notebook также призван продемонстрировать zero-shot custom tools. Вышеизложенное важно, потому что часто пользовательский запрос отличается от названия статьи и ID arxiv — это поможет нам на следующем шаге Шаг 3: Использовать результаты веб-поиска для извлечения ID(s) статей из arxiv Здесь мы будем использовать модель 8b, потому что кому хочется иметь дело со сложными regex, ведь это основной сценарий использования LLM(s), не так ли? :D Шаг 4: Использовать arxiv API для загрузки PDF(s) статей по пользовательскому запросу Шаг 5: Для удобства мы извлечем первые 80 тысяч слов из PDF и запишем их в файл .txt, который затем сможем резюмировать Шаг 6: Использовать экземпляры модели Meta-Llama-3.3-8b для резюмирования двух PDF(s) Шаг 7: Сформировать prompt для модели 70b, чтобы получить различия между двумя обсуждаемыми статьями Мы начнем с описания всех модулей с изображения выше, чтобы убедиться в работоспособности нашей логики. Во второй половине этого notebook мы напишем простую функцию для обработки логики вызова функций Мы будем использовать MAIN_SYSTEM_PROMPT и main_model_chat_history для отслеживания обсуждения, поскольку мы используем 4 экземпляра LLM(s) в дополнение к этому. Обратите внимание, если вы были внимательны и заметили, что SYSTEM_PROMPT здесь отличается — спасибо за внимательное чтение! Всегда хорошая идея следовать официальным рекомендациям.

План урока

1. Часть 1: Определение компонентов
2. Установка необходимых библиотек
3. Необходимые импорты
4. Основной поток LLM
5. Определение экземпляра model_chat
6. Tavily API
7. Извлечение ID Arxiv
8. Загрузка статей и извлечение деталей