О чём урок
{#if fw === 'pt'} {:else} {/if} Далее мы рассмотрим самые простые способы публикации предварительно обученных моделей в 🤗 Hub: доступные инструменты и утилиты, упрощающие совместное использование и обновление моделей непосредственно в Hub. Мы призываем всех пользователей, которые обучают модели, вносить свой вклад, делясь ими с сообществом — совместное использование моделей, даже если они обучены на очень конкретных наборах данных, поможет другим, сэкономив им время и вычислительные ресурсы! В свою очередь, вы можете извлечь выгоду из работы, которую проделали другие! Есть три пути создания репозитория с моделью: С использованием API push_to_hub С использованием python-библиотеки huggingface_hub С использованием веб-интерфейса После создания репозитория вы можете загружать в него файлы через git и git-lfs. В следующих разделах мы познакомим вас с созданием репозиториев моделей и загрузкой в них файлов. {#if fw === 'pt'} {:else} {/if} Простейший путь загрузки файлов на Hub – push_to_hub API. Перед тем, как пойдем дальше, необходимо сгенерировать токен аутентификации. Это необходимо сделать для того, чтобы huggingface_hub API «узнал» вас и предоставил вам необходимые права на запись. Убедитесь, что вы находитесь в окружении, в котором установлена библиотека transformers (см. Установка). Если вы работаете в Jupyter'е, вы можете использовать следующую функцию для авторизации: В терминале можно запустить: В обоих случаях вам будет предложено ввести свой логин и пароль (это должны быть те же данные, которые вы используете для входа на Hub). Если у вас нет учетной записи HuggingFace, вы можете создать ее здесь. Отлично! После авторизации ваш токен сохранится во временную папку. Давайте создадим репозитории! {#if fw === 'pt'} Если вы уже пользовались Trainer API для обучения модели, то самый простой способ загрузить модель на Hub – установить аргумент push_to_hub=True во время инициализации TrainingArguments: При вызове trainer.train() Trainer будет загружать модель на Hub каждый раз, когда она будет сохраняться (в данном примере каждую эпоху).
План урока
- Использование API push_to_hub
- Использование веб-интерфейса
- Загрузка файлов модели
- Функция upload_file
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.