Тест по главе: дообучение: HuggingFace: курс по Transformers

О чём урок

Тест по результатам изучения главы 3. датасета!" }, { text: "Named entity recognition / Распознавание именованных сущностей", explain: "Нет, изучите еще раз датасета!" }, { text: "Question answering / Ответы на вопросы", explain: "Увы! Неправильный ответ. " } ]} /> – специальный токен для разделения двух предложений, однако этого недостаточно." }, { text: "[CLS] Токены_предложения_1 Токены_предложения_2", explain: "Токен – специальный токен, обозначающий начало последовательнсти, однако этого недостаточно." }, { text: "[CLS] Токены_предложения_1 [SEP] Токены_предложения_2 [SEP]", explain: "Правильно!", correct: true }, { text: "[CLS] Токены_предложения_1 [SEP] Токены_предложения_2", explain: "Токен – специальный токен, обозначающий начало последовательнсти, Токен – специальный токен для разделения двух предложений. Но это не всё!" } ]} /> {#if fw === 'pt'} ." }, { text: "Она соединяет вместе все элементы батча.", explain: "Верно! Вы можете передать функцию сопоставления в качестве аргумента для . Мы использовали функцию , которая дополняет все элементы в батче до одинаковой длины.", correct: true }, { text: "Она обрабатывает весь датасет. ", explain: "Тогда она называлась быть функцией препроцессинга, а не функцией сопоставления." }, { text: "Она обрезает предложения в датасете.", explain: "Collate-функция используется для одного батча, а не всего датасета. Если вам необходимо обрезать датасет, вы можете использовать аргумент в ." } ]} /> с чекпоинтом, распечатывается предупреждение при инициализации модели. Предобученная «голова» модели не используется для классификации предложений, так что она заменяется другим слоем со случайно инициализированными весами.", correct: true }, { text: "Последний слой модели игнорируется.", explain: "Должно произойти что-то еще! Попробуй еще раз!" }, { text: "Ничего, модель по-прежнему можно будет настроить на решение другой задачи.", explain: "Последний слой модели был обучен решать другую задачу, значит с ним должно что-то произойти!" } ]} /> ", explain: "Верно!", correct: true }, { text: "Задает размер модели.", explain: "Размер модели определяется ее структурой, а не классом ." }, { text: "Содержит гиперпараметры для этапа валидации модели.", explain: "В примере мы задавали, где будут сохраняться модель и её веса.

План урока

1. 2. Найдите датасет ar_sarcasm в Hub. Какую задачу можно решить с использованием этого датасета?
2. 3. В каком формате модель BERT ожидает на вход пару предложений?
3. 4. Какие преимущества есть у метода Dataset.map()?
4. 5. Что такое dynamic padding?
5. 6. Какова цель функции сопоставления (collate function)?
6. 8. Зачем нужен TrainingArguments?
7. 9. Зачем нужна библиотека 🤗 Accelerate?
8. 5. TensorFlow-модели из transformers уже можно рассматривать как Keras-модели. Какие преимущества это дает?