О чём урок
В этом блокноте вы изучите модель Gemini как инструмент перевода, демонстрируя, как подготовить данные, создать эффективные подсказки и сохранить результаты в файл .txt.
Этот подход значительно улучшает доступность знаний. Различные источники предоставляют книги с открытым исходным кодом. В этом блокноте вы будете использовать Project Gutenberg в качестве ресурса.
Эта платформа предоставляет доступ к широкому спектру книг, доступных для бесплатной загрузки в форматах PDF, eBook, TXT и других.
Для выполнения следующей ячейки ваш ключ API должен быть сохранен в секрете Colab с именем GEMINI_API_KEY. Если у вас еще нет ключа API или вы не знаете, как создать секрет Colab, см. Аутентификация для примера.
Вы переведете известную книгу Артура Конан Дойла с польского (пер. Евгении Жмиевской) на английский язык о детективе Шерлоке Холмсе. Вот названия на польском и английском языках:
- Польское название: Tajemnica Baskerville'ów: dziwne przygody Sherlocka Holmes
- Английское название: The Hound of the Baskervilles
Книги содержат всевозможные вымышленные или исторические описания, некоторые из них довольно буквальны и могут привести к тому, что модель прекратит выполнение запроса на перевод. Чтобы предотвратить некоторые из этих исключений, пользователи могут изменить safety_setting со значения по умолчанию на более открытый подход.
Приступайте к инициализации модели Gemini Flash для этой задачи.
Начните с подсчета количества токенов в книге, чтобы узнать, нужно ли переходить к следующему шагу (разбиение текста на более мелкие фрагменты).
LLM ограничены лимитами токенов. Чтобы оставаться в пределах лимита Gemini Flash, важно обеспечить следующее:
- Лимит входных токенов не должен превышать: 1 048 576 токенов
- Лимит выходных токенов не должен превышать: 8 192 токена
Поскольку входные фрагменты текста после перевода будут служить выходными данными, рекомендуется разбивать их на более мелкие сегменты.
Как вы увидите в примере, существует более 1000 небольших фрагментов. Вызов API для подсчета токенов каждого из них займет много времени. Из-за этого будет использоваться оценка: 1 токен равен 4 символам.
Чтобы…
План урока
- Настройка ключа API
- Подготовка данных
- Информация о токенах
- Разделение текста на фрагменты
- Группировка мелких фрагментов
- Перевод
- Подсказка
- Перевод фрагментов
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.