О чём урок
В этой лабораторной работе вы научитесь создавать потоковый конвейер на основе одного из шаблонов Dataflow от Google. Точнее, вы будете использовать шаблон Pub/Sub to BigQuery, который читает сообщения в формате JSON из топика Pub/Sub и записывает их в таблицу BigQuery. Документацию по этому шаблону можно найти в руководстве по началу работы с шаблонами, предоставляемыми Google.
Набор данных и таблицу BigQuery можно создать либо в командной строке Cloud Shell, либо в Google Cloud console. Выберите один способ и используйте его до конца лабораторной работы. Если хотите попробовать оба способа, выполните лабораторную работу второй раз.
В этой лабораторной работе вы научитесь выполнять следующие задачи:
- Создавать набор данных и таблицу BigQuery.
- Создавать бакет Cloud Storage.
- Создавать потоковый конвейер с помощью шаблона Dataflow Pub/Sub to BigQuery.
В оригинале Google выдаёт для лабораторной временный учебный проект и аккаунт. Здесь вы выполняете те же шаги в своём проекте Google Cloud: войдите в консоль console.cloud.google.com, создайте или выберите проект с включённой оплатой (подойдёт пробный период с бесплатными кредитами) и откройте Cloud Shell. После работы удалите созданные ресурсы, чтобы за них не списывались деньги.
Чтобы обеспечить доступ к нужному API, перезапустите подключение к Dataflow API.
- В Cloud Shell выполните следующие команды, чтобы сбросить Dataflow API: отключите его и снова включите для вашего проекта.
Сначала создайте набор данных и таблицу BigQuery.
- Выполните следующую команду, чтобы создать набор данных с именем taxirides:
Вывод должен выглядеть примерно так:
Теперь, когда набор данных создан, на следующем шаге вы используете его для создания таблицы BigQuery.
- Выполните следующую команду, чтобы создать таблицу:
Вывод должен выглядеть примерно так:
На первый взгляд команда bq mk выглядит довольно сложной. Но с помощью документации по инструменту командной строки BigQuery можно разобраться, что здесь происходит. Например, документация подробнее объясняет параметр --schema:
- Это либо путь к локальному файлу схемы в…
План урока
- Обзор
- Что вы узнаете
- Настройка и требования
- Задание 1. Убедитесь, что Dataflow API успешно включён повторно
- Задача 2. Создайте набор данных BigQuery, таблицу BigQuery и бакет Cloud Storage с помощью Cloud Shell
- Создайте бакет Cloud Storage с помощью Cloud Shell
- Задание 3. Создание набора данных BigQuery, таблицы BigQuery и бакета Cloud Storage в Google Cloud console
- Создание бакета Cloud Storage в Google Cloud console
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.