Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 31 · Текст · ~5 мин

Публикуем свою модель на Hub

Урок 31 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

{#if fw === 'pt'}

{:else}

{/if}

Далее мы рассмотрим самые простые способы публикации предварительно обученных моделей в 🤗 Hub: доступные инструменты и утилиты, упрощающие совместное использование и обновление моделей непосредственно в Hub.

Мы призываем всех пользователей, которые обучают модели, вносить свой вклад, делясь ими с сообществом — совместное использование моделей, даже если они обучены на очень конкретных наборах данных, поможет другим, сэкономив им время и вычислительные ресурсы! В свою очередь, вы можете извлечь выгоду из работы, которую проделали другие!

Есть три пути создания репозитория с моделью:

  • С использованием API push_to_hub
  • С использованием python-библиотеки huggingface_hub
  • С использованием веб-интерфейса

После создания репозитория вы можете загружать в него файлы через git и git-lfs. В следующих разделах мы познакомим вас с созданием репозиториев моделей и загрузкой в них файлов.

{#if fw === 'pt'}

{:else}

{/if}

Простейший путь загрузки файлов на Hub – push_to_hub API.

Перед тем, как пойдем дальше, необходимо сгенерировать токен аутентификации. Это необходимо сделать для того, чтобы huggingface_hub API «узнал» вас и предоставил вам необходимые права на запись. Убедитесь, что вы находитесь в окружении, в котором установлена библиотека transformers (см. Установка). Если вы работаете в Jupyter'е, вы можете использовать следующую функцию для авторизации:

В терминале можно запустить:

В обоих случаях вам будет предложено ввести свой логин и пароль (это должны быть те же данные, которые вы используете для входа на Hub). Если у вас нет учетной записи HuggingFace, вы можете создать ее здесь.

Отлично! После авторизации ваш токен сохранится во временную папку. Давайте создадим репозитории!

{#if fw === 'pt'}

Если вы уже пользовались Trainer API для обучения модели, то самый простой способ загрузить модель на Hub – установить аргумент push_to_hub=True во время инициализации TrainingArguments:

При вызове trainer.train() Trainer будет загружать модель на Hub каждый раз, когда она будет сохраняться (в данном примере каждую эпоху).

Для загрузки модели в репозиторий…

План урока

  1. Использование API push_to_hub
  2. Использование веб-интерфейса
  3. Загрузка файлов модели
  4. Функция upload_file

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Урок входит в темы

Полезные гиды