Демо-приложение на Llama: что оно умеет

О чём урок

Как использовать YoutubeLoader из LangChain для получения субтитров YouTube-видео Как попросить Llama 3 наивно суммировать содержимое видео (в пределах лимита входного размера Llama) с помощью метода `stuff` из LangChain Как обойти ограничение Llama 3 на длину контекста в 8k, используя более сложный подход с методами refine и map_reduce из LangChain — подробнее см. здесь Начнем с установки необходимых пакетов: youtube-transcript-api API для получения транскрипции/субтитров YouTube-видео langchain предоставляет необходимые RAG-инструменты для этой демонстрации tiktoken токенизатор BytePair Encoding pytube Утилита для скачивания YouTube-видео Сначала загрузим транскрипцию длинного (2:47:16) YouTube-видео (Лекс Фридман с Яном Лекуном: Meta AI, открытый исходный код, ограничения LLM, AGI и будущее ИИ) с помощью YoutubeLoader. Вы должны увидеть 142689 в качестве длины документа в символах, что составляет около 30 тысяч слов или 40 тысяч токенов, превышая лимит длины контекста Llama 3 в 8k. Вы увидите, как суммировать текст, превышающий этот лимит. Примечание: Мы будем использовать Replicate для запуска примеров. Вам потребуется сначала войти в Replicate с помощью вашей учетной записи GitHub, затем создать бесплатный API token здесь, который вы сможете использовать некоторое время. Вы также можете использовать других облачных провайдеров Llama 3, таких как Groq, Together или Anyscale — подробнее см. в разделе 2 notebook «Знакомство с Llama». Если вы хотите запустить Llama 3 локально ради конфиденциальности, отсутствия затрат или ограничений скорости (некоторые хостинг-провайдеры Llama 3 устанавливают лимиты для бесплатных планов по количеству запросов или токенов в секунду/минуту), см. Запуск Llama локально. Далее вы вызовете чат-модель Llama 3 70b из Replicate, поскольку она мощнее чат-модели Llama 3 8b при суммировании длинного текста. Вы также можете попробовать модель Llama 3 8b, заменив имя model на "meta/meta-llama-3-8b-instruct". Как только все настроено, вы можете дать Llama 3 prompt для суммирования первых 4000 символов транскрипции.