Что происходит внутри пайплайна

О чём урок

{#if fw === 'pt'} {:else} {/if} [!TIP] Это первый раздел, в котором содержание немного отличается в зависимости от того, используете ли вы PyTorch или TensorFlow. Переключите переключатель в верхней части заголовка, чтобы выбрать платформу, которую вы предпочитаете! {#if fw === 'pt'} {:else} {/if} Давайте начнем с полноценного примера и посмотрим, что произошло за кулисами, когда мы выполнили следующий код в Главе 1: и получили: Как мы видели в [Главе 1] (../chapter1), этот конвейер объединяет три этапа: предобработку, пропуск входных данных через модель и постобработку: Давайте быстро пройдемся по каждому из них. Как и другие нейронные сети, модели Transformer не могут напрямую обрабатывать сырой текст, поэтому первым шагом нашего конвейера является преобразование текстовых данных в числа, которые сможет воспринимать модель. Для этого мы используем токенизатор, который будет отвечать за: Разбиение входных данных на слова, подслова или символы (например, пунктуацию), которые называются токенами Сопоставление каждого токена с целым числом Добавление дополнительных входных данных, которые могут быть полезны для модели Вся эта предобработка должна быть выполнена точно так же, как и при предварительном обучении модели, поэтому сначала нам нужно загрузить эту информацию из Model Hub. Для этого мы используем класс AutoTokenizer и его метод from_pretrained(). Используя имя контрольной точки нашей модели, он автоматически получает данные, ассоциированные с токенизатором модели, и кэширует их (таким образом, они скачиваются только в первый раз, когда вы выполняете приведенный ниже код). Поскольку контрольной точкой по умолчанию конвейера sentiment-analysis является distilbert-base-uncased-finetuned-sst-2-english (вы можете посмотреть ее карточку модели здесь), мы выполняем следующее: Когда у нас есть токенизатор, мы можем напрямую передать ему наши предложения и получить в ответ словарь, готовый к передаче в нашу модель! Осталось только преобразовать список входных идентификаторов в тензоры. Вы можете использовать 🤗 Transformers, не задумываясь о том, какой ML-фреймворк используется в качестве бэкенда; это может быть PyTorch или TensorFlow, или Flax для некоторых моделей.

План урока

1. Предобработка с помощью токенизатора
2. Постобработка вывода