О чём урок
Теперь посмотрим, как с помощью Dataflow выполнять операции извлечения, преобразования и загрузки данных. Managed Service for Apache Spark позволяет перенести исходное решение для работы с большими данными на базе Apache Hadoop и Apache Spark в полностью управляемый сервис Google Cloud. Но как обрабатывать и пакетные, и потоковые данные, если не привязываться к Hadoop? Здесь на помощь приходит Dataflow.
Dataflow представляет собой управляемый сервис Google, оптимизированный для крупномасштабной пакетной обработки и для длительной потоковой обработки. Dataflow создаёт конвейер (pipeline), который обрабатывает как потоковые, так и пакетные данные. Под «обработкой» здесь понимаются этапы извлечения, преобразования и загрузки данных (ETL).
При построении конвейера данных инженеры часто сталкиваются со сложностями при написании кода для проектирования конвейера, а также при его реализации и запуске в больших масштабах. На этапе проектирования конвейера стоит задать себе несколько вопросов. Будет ли код конвейера совместим и с пакетными, и с потоковыми данными, или его придётся переписывать? Будут ли в используемом комплекте разработки (SDK) для кода конвейера все нужные преобразования, промежуточные агрегации на лету и оконная обработка (windowing)? Сможет ли он обрабатывать запоздавшие данные? И есть ли готовые шаблоны или решения, на которые стоит опереться?
Dataflow полностью автоматизирует операционные задачи, такие как управление ресурсами и оптимизация производительности. Все ресурсы предоставляются по требованию и масштабируются в соответствии с потребностями. Dataflow имеет встроенную поддержку отказоустойчивого выполнения: оно остаётся согласованным и корректным независимо от объёма данных, размера кластера, схемы обработки или сложности конвейера.
Благодаря интеграции с Google Cloud console Dataflow показывает такую статистику, как пропускная способность и задержка конвейера, а также позволяет просматривать сводные логи рабочих узлов практически в реальном времени. Кроме того, Dataflow интегрируется с Cloud Storage, Pub/Sub, Datastore, Bigtable и BigQuery, обеспечивая бесшовную обработку данных между платформами.
Перевод официального курса Google «Основы Google Cloud: данные, машинное обучение и ИИ». Оригинал на английском.
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.