Текст видео
В этом первом разделе мы поговорим об управляемых сервисах для работы с большими данными в облаке. Прежде чем рассматривать их подробно, давайте разберёмся, что такое большие данные. Корпоративные системы хранения отходят от терабайта как единицы измерения объёма данных: нормой становятся петабайты. Мы знаем, что один петабайт равен 1 000 000 ГБ, или 1000 ТБ. Но насколько это много?
С одной стороны, петабайт данных может показаться больше, чем вам когда-либо понадобится. Например, чтобы хранить один петабайт, нужна стопка дискет выше 12 Эмпайр-стейт-билдингов. Если бы вы захотели скачать один петабайт по сети 4G, вам пришлось бы ждать 27 лет. Кроме того, для всех когда-либо опубликованных твитов вам понадобился бы один петабайт хранилища, умноженный на 50. Так что один петабайт представляет собой очень внушительный объём.
Но если взглянуть на это с другой стороны, одного петабайта хватит лишь на два микрограмма ДНК или на видео, которое загружается на YouTube за один день. Поэтому для некоторых отраслей петабайт данных может быть совсем небольшим объёмом.
Каждая компания так или иначе хранит данные, и теперь компании пытаются использовать их, чтобы лучше понимать свою операционную деятельность. Здесь на сцену выходят большие данные. Архитектуры больших данных позволяют компаниям анализировать хранимые данные и узнавать больше о своём бизнесе.
Управляемые сервисы Google для обработки данных
В этом модуле мы сосредоточимся на трёх управляемых сервисах Google для обработки данных. Для компаний, которые уже вложились в Apache Hadoop и Apache Spark и хотят и дальше использовать эти инструменты, Managed Service for Apache Spark станет удобным способом запускать программное обеспечение с открытым исходным кодом в Google Cloud.
Однако компаниям, которым нужно решение для потоковых данных, может быть интереснее Dataflow как управляемый сервис. Dataflow оптимизирован для пакетной обработки больших объёмов данных и для длительной потоковой обработки структурированных и неструктурированных данных.
Третий управляемый сервис, который мы рассмотрим, это BigQuery. Он представляет собой решение для аналитики данных, оптимизированное для быстрого получения ответов на наборах данных петабайтного масштаба. BigQuery обеспечивает быстрое выполнение SQL-запросов к структурированным данным.
Перевод официального курса Google «Основы Google Cloud: данные, машинное обучение и ИИ». Оригинал на английском.