О чём урок
В этой серии мы преобразуем PDF в подкаст, используя исключительно открытые модели.
Первый шаг на пути к подкасту — это поиск сценария; на данный момент наша логика такова:
- Использовать любой PDF на любую тему
- Использовать prompt для модели Llama-3.2-1B-Instruct, чтобы обработать PDF в текстовый файл
- Переписать это в транскрипт подкаста в следующем notebook.
В этом notebook мы загрузим PDF и сохраним его в файл .txt с помощью библиотеки PyPDF2; позднее мы будем обрабатывать фрагменты из текстового файла, используя нашу легковесную модель.
Большинство из нас, нажимая Shift+Enter, пропускают комментарии, чтобы позже осознать необходимость установки библиотек. Для тех немногих, кто читает инструкции, пожалуйста, помните об этом:
Предполагая, что у вас есть PDF, загруженный на ту же машину, пожалуйста, укажите путь к файлу.
Также, если вы хотите задействовать свой GPU, пожалуйста, переключитесь на более крупную модель, хотя легковесные модели отлично справляются с этой задачей:
Давайте убедимся, что мы не споткнемся, проверив существование файла
Преобразуем PDF в файл .txt. Это просто прочитает и выгрузит содержимое файла. Мы устанавливаем максимальное количество символов в 100 тысяч.
Для тех, кто преобразует свои любимые романы в подкаст, потребуется добавить дополнительную логику для работы за пределами контекстной длины моделей Llama, которая составляет 128 тысяч токенов.
Вспомогательная функция для получения метаинформации о нашем PDF
Наконец, мы можем запустить нашу логику для извлечения деталей из файла
Теперь давайте обоснуем наше нежелание писать регулярные выражения и используем это как оправдание для применения LLM:
На данном этапе у нас есть текстовый файл, извлеченный из PDF-документа. Как правило, извлечения из PDF могут быть неаккуратными из-за символов, форматирования, Latex, таблиц и т. д.
Один из способов справиться с этим — использовать регулярные выражения, но вместо этого мы также можем использовать prompt для легковесных моделей Llama, чтобы они очистили наш текст.
Пожалуйста, попробуйте изменить SYS_PROMPT ниже, чтобы увидеть, какие улучшения вы сможете внести:
Вместо того…
План урока
- Notebook 1: Предварительная обработка PDF
- Предварительная обработка с Llama
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.