Собираем всё вместе: от токенизатора к модели

О чём урок

{#if fw === 'pt'} {:else} {/if} В последних нескольких разделах мы старались делать большую часть работы вручную. Мы изучили, как работают токенизаторы, рассмотрели токенизацию, преобразование во входные идентификаторы, дополнении, усечении и маски внимания. Однако, как мы видели в разделе 2, 🤗 Transformers API может обработать все это для нас с помощью высокоуровневой функции, которую мы рассмотрим здесь. Когда вы вызываете свой tokenizer непосредственно на предложении, вы получаете обратно входы, готовые к передаче в вашу модель: Здесь переменная model_inputs содержит все, что необходимо для нормальной работы модели. Для DistilBERT это идентификаторы входов, а также маска внимания. В других моделях, принимающих дополнительные входы, они также будут формироваться выходами объекта tokenizer. Как мы увидим на нескольких примерах ниже, это очень мощный метод. Во-первых, он может токенизировать одну последовательность: Он также обрабатывает несколько последовательностей одновременно, без каких-либо изменений в API: Он может быть дополнен исходя из нескольких целей: Он также может выполнять усечение последовательностей: Объект tokenizer может выполнять преобразование в тензоры конкретных фреймворков, которые затем могут быть напрямую переданы в модель. Например, в следующем примере кода мы задаем токенизатору возвращать тензоры для различных фреймворков - "pt" возвращает тензоры PyTorch, "tf" возвращает тензоры TensorFlow, а "np" возвращает массивы NumPy: Если мы посмотрим на идентификаторы входа, возвращаемые токенизатором, то увидим, что они немного отличаются от тех, что мы получали ранее: Один идентификатор токена был добавлен в начале, а другой - в конце. Давайте декодируем две последовательности идентификаторов, приведенные выше, чтобы понять, в чем дело: Токенизатор добавил специальное слово [CLS] в начале и специальное слово [SEP] в конце. Это связано с тем, что модель была предварительно обучена с ними, поэтому для получения тех же результатов при инференсе нам нужно добавить и их. Обратите внимание, что некоторые модели не добавляют специальные слова или добавляют другие слова; модели также могут добавлять эти специальные слова только в начале или только в конце.

План урока

1. Специальные токены
2. Подведение итогов: От токенизатора к модели