О чём урок
С разрешения автора мы продемонстрируем, как перевести книгу «Евклидова геометрия плоскости», написанную Миланом Митровичем со словенского на английский, не изменяя при этом ни одной команды LaTeX. Для этого мы сначала разделим книгу на фрагменты, каждый длиной примерно в страницу, затем переведем каждый фрагмент на английский язык и, наконец, объединим их обратно. Оказалось, что двойной перевод строки является хорошим разделителем в данном случае, чтобы не нарушать связность текста. Также ни один отдельный фрагмент не превышает 1211 токенов. Мы будем использовать модель gpt-4o, которая имеет лимит в 16 384 токена, поэтому нам не нужно беспокоиться о дальнейшем разбиении фрагментов. Мы сгруппируем более короткие фрагменты в блоки размером около 15000 токенов, чтобы повысить связность текста и уменьшить частоту разрывов внутри него. Обратите внимание, что добавление примера непереведенной и переведенной первой команды, где нужно перевести только содержимое названия главы, помогает получить более согласованные результаты. Формат prompt, отправляемого модели, состоит из: Высокоуровневая инструкция переводить только текст, но не команды, на желаемый язык Пример непереведенной команды, где нужно перевести только содержимое названия главы Фрагмент текста для перевода Переведенная примерная команда из пункта 2, которая показывает модели начало процесса перевода Ожидаемый output — это переведенный фрагмент текста. Здесь мы видим, что этот конкретный фрагмент переводит только текст, оставляя команды LaTeX нетронутыми. Теперь переведем все фрагменты книги — это займет 2-3 часа, так как мы обрабатываем запросы последовательно.
План урока
- 1. Чтение данных
- 1.1 Подсчет токенов в каждом фрагменте
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.