О чём урок
Этот notebook использует модель Llama-3.1-70B-Instruct, чтобы взять очищенный текст из предыдущего notebook и преобразовать его в стенограмму подкаста. SYSTEM_PROMPT используется для установки контекста или профиля модели при работе над задачей. Здесь мы даем ей prompt быть отличным создателем стенограмм подкастов, чтобы помочь нам с нашей задачей. Эксперименты с SYSTEM_PROMPT ниже приветствуются; этот вариант показал наилучшие результаты для нескольких примеров, с которыми тестировался процесс: Для тех читателей, кто хочет продемонстрировать свои финансовые возможности, пожалуйста, не стесняйтесь попробовать использовать модель 405B здесь. Для наших друзей, испытывающих недостаток в GPU, вам также рекомендуется протестировать с меньшей моделью. 8B должна хорошо работать "из коробки" для этого примера: Импортируем необходимый фреймворк Считываем файл, сгенерированный ранее. Детали кодировки предназначены для предотвращения проблем с общими PDF-файлами, которые могут быть загружены. Поскольку мы определили роль System ранее, теперь мы можем передать весь файл как INPUT_PROMPT модели и заставить ее использовать это для генерации подкаста. Hugging Face предлагает отличный метод pipeline(), который упрощает нам генерацию текста из LLM. Мы установим temperature равным 1, чтобы стимулировать креативность, а max_new_tokens — 8126. Это потрясающе, теперь мы можем сохранить и проверить вывод, сгенерированный моделью, прежде чем перейти к следующему notebook. Сохраним вывод как pickle-файл и продолжим работу в Notebook 3. Теперь у нас есть рабочая стенограмма, но мы можем попробовать сделать ее более драматичной и естественной. В следующем notebook мы используем модель Llama-3.1-8B-Instruct для этого.
План урока
- Notebook 2: Создатель стенограмм
- Следующий Notebook: Переписчик стенограмм
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.