Управление кластерами Apache Spark с помощью gcloud CLI

О чём урок

Managed Service for Apache Spark представляет собой быстрый, простой в использовании и полностью управляемый облачный сервис для запуска кластеров Apache Spark и Apache Hadoop, который делает эту работу проще и экономичнее. Операции, которые раньше занимали часы или дни, теперь выполняются за секунды или минуты. Вы можете быстро создавать кластеры Managed Service for Apache Spark и менять их размер в любой момент, поэтому вам не нужно беспокоиться о том, что ваши конвейеры данных перерастут возможности кластеров.

В этой лабораторной работе показано, как с помощью командной строки создать управляемый кластер Apache Spark, запустить в нём простое задание Apache Spark и затем изменить количество рабочих узлов в кластере.

В этой лабораторной работе вы научитесь:

• создавать управляемый кластер Apache Spark с помощью командной строки;
• запускать простое задание Apache Spark;
• изменять количество рабочих узлов в кластере.

В оригинале Google выдаёт для лабораторной временный учебный проект и аккаунт. Здесь вы выполняете те же шаги в своём проекте Google Cloud: войдите в консоль console.cloud.google.com, создайте или выберите проект с включённой оплатой (подойдёт пробный период с бесплатными кредитами) и откройте Cloud Shell. После работы удалите созданные ресурсы, чтобы за них не списывались деньги.

1. В Cloud Shell выполните следующую команду, чтобы задать регион:

1. Отключите Cloud Dataproc API:

1. Снова включите Cloud Dataproc API:

1. Managed Service for Apache Spark создаёт промежуточный (staging) и временный (temp) бакеты, которые являются общими для всех кластеров в одном регионе. Поскольку мы не указываем, какой аккаунт должен использовать Managed Apache Spark, он будет работать от имени сервисного аккаунта Compute Engine по умолчанию, у которого по умолчанию нет прав на бакеты хранилища. Давайте добавим эти права.

• Сначала выполните следующие команды, чтобы получить PROJECT_ID и PROJECT_NUMBER:

• Теперь выполните следующие команды, чтобы назначить сервисному аккаунту Compute Engine по умолчанию роли Storage Admin и Managed Apache Spark Worker:

1. Включите Private Google Access в своей подсети…

План урока

1. Обзор
2. Что вы будете делать
3. Подготовка к работе и требования
4. Задача 1. Создайте кластер
5. Задача 2. Отправьте задание
6. Задача 3. Обновление кластера
7. Задание 4. Проверьте свои знания
8. Поздравляем!