О чём урок
Managed Service for Apache Spark представляет собой быстрый, простой в использовании и полностью управляемый облачный сервис для запуска кластеров Apache Spark и Apache Hadoop, который делает эту работу проще и экономичнее. Операции, которые раньше занимали часы или дни, теперь выполняются за секунды или минуты. Кластеры Managed Service for Apache Spark создаются быстро, а их размер можно изменить в любой момент, поэтому вам не придётся беспокоиться о том, что конвейеры данных перерастут возможности кластеров.
Из этой лабораторной работы вы узнаете, как с помощью Google Cloud console создать кластер Managed Apache Spark, запустить в нём простое задание Apache Spark, а затем изменить число рабочих узлов в кластере.
В этой лабораторной работе вы научитесь:
- создавать кластер Managed Apache Spark в Google Cloud console;
- запускать простое задание Apache Spark;
- изменять число рабочих узлов в кластере.
В оригинале Google выдаёт для лабораторной временный учебный проект и аккаунт. Здесь вы выполняете те же шаги в своём проекте Google Cloud: войдите в консоль console.cloud.google.com, создайте или выберите проект с включённой оплатой (подойдёт пробный период с бесплатными кредитами) и откройте Cloud Shell. После работы удалите созданные ресурсы, чтобы за них не списывались деньги.
- В Cloud Shell выполните следующую команду, чтобы создать кластер с именем example-cluster из виртуальных машин e2-standard-2 со стандартными постоянными дисками по 30 ГБ:
- Если появится запрос на подтверждение зоны или авторизацию Cloud Shell, введите Y или нажмите Authorize (Авторизовать).
Создание кластера займёт несколько минут. Когда кластер будет готов, в выводе команды появится строка Created [... example-cluster].
Чтобы запустить пример задания Spark:
- В Google Cloud console выберите Navigation menu (меню навигации) () > View All Products, затем в разделе Analytics нажмите Managed Apache Spark > Clusters.
В списке должен отобразиться только что созданный кластер example-cluster со статусом Running.
- Нажмите Jobs на левой панели, чтобы перейти к списку заданий Managed Apache Spark, затем нажмите Submit job.
- Задайте значения…
План урока
- Обзор
- Что вы будете делать
- Настройка и требования
- Задача 1. Создание кластера
- Задача 2. Отправьте задание
- Задача 3. Просмотр результатов задания
- Задание 4. Обновите кластер, чтобы изменить число рабочих узлов
- Задание 5. Проверьте себя
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.