Текст видео
Добро пожаловать в модуль 9 курса «Основы облачных вычислений Google Cloud». Данные у вас есть, но что вы с ними делаете? В этом модуле вы познакомитесь с управляемыми сервисами, которые Google предлагает для обработки больших данных. Иными словами, вы изучите управляемые сервисы для работы с большими данными в облаке.
Вы рассмотрите, как с помощью Managed Service for Apache Spark запускать Apache Hadoop, Apache Spark и другие технологии для работы с большими данными в виде управляемого сервиса в облаке. Вы узнаете, как создавать ETL-конвейеры в виде управляемого сервиса с помощью Dataflow, и изучите BigQuery как управляемое хранилище данных и аналитический движок.
План модуля следует его целям. Сначала идёт введение в управляемые сервисы для больших данных в облаке, затем вы узнаете, как работать с большими данными через Managed Service for Apache Spark. После этого вы выполните две лабораторные работы: с помощью Google Cloud console и gcloud CLI создадите кластер Managed Service for Apache Spark и выполните с ним различные задачи.
После лабораторных работ вы изучите, как использовать Dataflow для операций извлечения, преобразования и загрузки данных. Две следующие лабораторные работы позволят узнать о Dataflow больше. В первой вы с помощью шаблона Dataflow создадите потоковый конвейер. Во второй вы настроите среду разработки на Python, получите Dataflow SDK для Python и запустите пример конвейера через Google Cloud console.
В заключительном разделе вы узнаете о роли BigQuery как хранилища данных, а затем выполните ещё одну практическую лабораторную работу, посвящённую Dataprep. Завершит модуль последняя практическая лабораторная работа, после которой вас ждут короткий тест и обзор пройденных тем. Приступим.
Перевод официального курса Google «Основы Google Cloud: данные, машинное обучение и ИИ». Оригинал на английском.