Машинный перевод

О чём урок

{#if fw === 'pt'} {:else} {/if} Теперь давайте погрузимся в перевод. Это еще одна задача преобразования последовательности в последовательность (sequence-to-sequence), что означает, что это проблема, которую можно сформулировать как переход от одной последовательности к другой. В этом смысле задача очень близка к резюмированию (summarization), и вы можете приспособить то, что мы здесь рассмотрим, к другим задачам преобразования последовательности в последовательность, таким как: Перенос стиля (Style transfer): Создание модели, которая переводит тексты, написанные в определенном стиле, в другой (например, из формального в повседневный или из шекспировского английского в современный). Генеративные ответы на вопросы (Generative question answering): Создание модели, которая генерирует ответы на вопросы, учитывая контекст Если у вас есть достаточно большой корпус текстов на двух (или более) языках, вы можете обучить новую модель перевода с нуля, как мы это сделаем в разделе по казуальному языковому моделированию (causal language modeling). Однако быстрее будет дообучить существующую модель перевода, будь то многоязычная модель типа mT5 или mBART, которую нужно дообучить для конкретной пары языков, или даже модель, специализированная для перевода с одного языка на другой, которую нужно дообучить для конкретного корпуса. В этом разделе мы дообучим модель Marian, предварительно обученную переводу с английского на французский (поскольку многие сотрудники Hugging Face говорят на обоих этих языках), на датасете KDE4, который представляет собой набор локализованных файлов для приложений KDE. Модель, которую мы будем использовать, была предварительно обучена на большом корпусе французских и английских текстов, взятых из Opus dataset, который фактически содержит датасет KDE4. Но даже если модель, которую мы используем, видела эти данные во время предварительного обучения, мы увидим, что после дообучения мы сможем получить ее лучшую версию. Когда мы закончим, у нас будет модель, способная делать прогнозы, подобные этому: Как и в предыдущих разделах, вы можете найти актуальную модель, которую мы обучим и загрузим на Hub, используя приведенный ниже код, и перепроверить ее предсказания здесь.

План урока

1. Подготовка данных
2. Датасет KDE4
3. Дообучение модели с помощью API Trainer
4. Дообучение модели с Keras
5. Сопоставление данных
6. Метрики
7. Дообучение модели
8. Индивидуальный цикл обучения