Урок из полного доступа, первые уроки курса бесплатно Официальный курс Hugging Face Learn на русском
Урок 51 · Текст · ~5 мин

Собираем токенизатор по кусочкам

Урок 51 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.

О чём урок

Как мы уже видели в предыдущих разделах, токенизация состоит из нескольких этапов:

  • Нормализация (любая необходимая очистка текста, например, удаление пробелов или подчеркиваний, нормализация Unicode и т. д.)
  • Предварительная токенизация (разделение входного текста на слова).
  • Прогон входных данных через модель (использование предварительно токенизированных слов для создания последовательности токенов)
  • Постобработка (добавление специальных токенов токенизатора, генерация маски внимания и идентификаторов типов токенов)

В качестве напоминания вот еще один взгляд на общий процесс:

Библиотека 🤗 Tokenizers была создана для того, чтобы предоставить несколько вариантов каждого из этих шагов, которые вы можете смешивать и сочетать между собой. В этом разделе мы рассмотрим, как можно создать токенизатор с нуля, а не обучать новый токенизатор на основе старого, как мы делали в разделе 2. После этого вы сможете создать любой токенизатор, который только сможете придумать!

Точнее, библиотека построена вокруг центрального класса Tokenizer, а строительные блоки сгруппированы в подмодули:

  • normalizers содержит все возможные типы нормализаторов текста Normalizer, которые вы можете использовать (полный список здесь).
  • pre_tokenizers содержит все возможные типы предварительных токенизаторов PreTokenizer, которые вы можете использовать (полный список здесь).
  • models содержит различные типы моделей Model, которые вы можете использовать, такие как BPE, WordPiece и Unigram (полный список здесь).
  • trainers содержит все различные типы Trainer, которые вы можете использовать для обучения модели на корпусе (по одному на каждый тип модели; полный список здесь).
  • post_processors содержит различные типы постпроцессоров PostProcessor, которые вы можете использовать (полный список здесь).
  • decoders содержит различные типы декодеров Decoder, которые вы можете использовать для декодирования результатов токенизации (полный список здесь).

Весь список блоков вы можете найти здесь.

Для обучения нашего нового токенизатора мы будем использовать небольшой корпус текстов (чтобы примеры выполнялись быстро). Шаги по сбору корпуса аналогичны тем, что мы делали в начале этой главы, но на этот раз мы будем использовать набор данных WikiText-2:

Функция get_training_corpus() - это генератор, который выдает батч из…

План урока

  1. Получение корпуса текста
  2. Создание токенизатора WordPiece с нуля
  3. Создание токенизатора BPE с нуля
  4. Создание токенизатора Unigram с нуля

Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.

Откройте полный доступ

Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.

Курсы HuggingFace 1 490 ₽ Разовый платёж, навсегда
  • Все курсы от HuggingFace (1 шт.)
  • Именной сертификат по каждому пройденному курсу
Оплатить
Полный доступ 4 900 ₽ Разовый платёж, навсегда
  • Все 77 курсов от 11 AI-провайдеров
  • Библиотека промптов и новые курсы
Оплатить

Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ

Полезные гиды