Урок из полного доступа, первые уроки курса бесплатноОфициальный курс Hugging Face Learn на русском
Урок 52 · Текст · ~5 мин
Итоги главы про токенизаторы
Урок 52 из 104 курса «HuggingFace: курс по Transformers»: официальный курс Hugging Face Learn (Хаггинг Фейс) на русском языке. Урок входит в платный доступ; первые уроки курса бесплатно.
О чём урок
Отличная работа по завершению этой главы!
После этого глубокого погружения в токенизаторы вы должны:
Уметь обучать новый токенизатор, используя старый в качестве шаблона.
Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте
Знать различия между BPE, WordPiece и Unigram.
Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора
Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.
Откройте полный доступ
Вы прошли бесплатные уроки. Выберите тариф, чтобы продолжить обучение.
Безопасная оплата через Robokassa: СБП, карты, электронные кошельки. Доступ откроется в этом браузере и придёт письмом. Уже оплатили? Восстановить доступ