О чём урок
Apache Beam SDK представляет собой модель программирования с открытым исходным кодом для конвейеров данных. В Google Cloud вы можете описать конвейер с помощью программы на Apache Beam, а затем запустить его в Dataflow.
В этой лабораторной работе вы настроите среду разработки на Python для Dataflow (с использованием Apache Beam SDK для Python) и запустите пример конвейера Dataflow.
В этой лабораторной работе вы научитесь:
- создавать бакет Cloud Storage для хранения результатов работы конвейера Dataflow;
- устанавливать Apache Beam SDK для Python;
- запускать конвейер Dataflow удалённо.
В оригинале Google выдаёт для лабораторной временный учебный проект и аккаунт. Здесь вы выполняете те же шаги в своём проекте Google Cloud: войдите в консоль console.cloud.google.com, создайте или выберите проект с включённой оплатой (подойдёт пробный период с бесплатными кредитами) и откройте Cloud Shell. После работы удалите созданные ресурсы, чтобы за них не списывались деньги.
Когда вы запускаете конвейер в Dataflow, результаты его работы сохраняются в бакете Cloud Storage. В этой задаче вы создадите бакет Cloud Storage для результатов конвейера, который запустите в одной из следующих задач.
- В Navigation menu (меню навигации) () выберите Cloud Storage > Buckets.
- Нажмите Create bucket.
- В диалоговом окне Create bucket задайте следующие параметры:
- Name: чтобы имя бакета было уникальным, используйте такое имя: project_0.project_id-bucket. Обратите внимание: в имени бакета нет конфиденциальной информации, поскольку пространство имён бакетов глобальное и общедоступное.
- Location type: Multi-region
- Location: us
- Место, где будут храниться данные бакета.
- Нажмите Create.
- Если появится сообщение о том, что публичный доступ будет запрещён (Public access will be prevented), нажмите Confirm.
- Чтобы использовать поддерживаемую версию Python, сначала запустите Docker-образ Python 3.12:
Эта команда загружает Docker-контейнер с Python 3.12, а затем открывает командную оболочку, в которой можно выполнять команды внутри контейнера.
- Когда контейнер запустится, установите последнюю версию Apache Beam SDK для Python, выполнив следующую команду из виртуальной среды:
Вы увидите…
План урока
- Обзор
- Что вы будете делать
- Настройка и требования
- Задача 1. Создайте бакет Cloud Storage
- Задача 2. Установите Apache Beam SDK для Python
- Задача 3. Запустите пример конвейера Dataflow удалённо
- Задача 4. Убедитесь, что задание Dataflow выполнено успешно
- Задача 5. Проверьте себя
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.