Публикации по теме 'bigquery'


Современное построение конвейера данных с помощью BigQuery Dataform
Поскольку ELT становится все более популярным, BigQuery Dataform позволяет выполнять современные преобразования на основе SQL в среде BigQuery. Отказ от ответственности. Я инженер по работе с клиентами Google Cloud. Мнения являются моими собственными и не обязательно мнением Google. Это первая часть серии статей о Google Cloud Dataform. Недавно я начал использовать BigQuery Dataform. Dataform — это современный инструмент конвейера данных и приобретение Google Cloud, которое теперь..
Руководство для начинающих по GCP BigQuery (часть 2)
Нажмите здесь, чтобы перейти к первой части этой статьи Продолжение серии «Руководство для начинающих по GCP BigQuery»; во второй части мы рассмотрим преимущества и варианты использования ключевых функций BigQuery. Прочитав эту статью, вы получите четкое представление о секционированных таблицах, запланированных запросах, скалярных функциях и внешних таблицах, которые станут строительными блоками вашей карьеры, позволяя вам принимать правильные решения как специалисту по данным...
Изменение расписания Lambda, когда целевые данные за пределами AWS в настоящее время недоступны
Проблема. Вы хотите, чтобы лямбда-выражение инициировало прием данных через рабочий процесс AWS Glue из источника за пределами AWS. Данные могут быть доступны в любое время между часами X и Y, но вам необходимо принять их как можно скорее. В следующем примере я буду использовать таблицу в BigQuery в качестве источника данных за пределами AWS. Примечание. В этой статье предполагается, что вы знаете, как создавать и настраивать лямбда-выражения в AWS, и не будем описывать их пошагово...
Экспорт BigQuery в PSQL с помощью Python и Airflow
Введение В современных серверных ИТ-архитектурах почти необходимо работать с той или иной формой системы хранения. Это может быть внутреннее локальное файловое хранилище или нереляционная (или реляционная) база данных, которая установлена ​​на локальном сервере или (самое дорогое, но удобное решение) в облаке провайдерского сервиса типа Google или >Майкрософт . Данные очень важны для приложений и часто управляются и «экспортируются» между базами данных из-за требований к..
Работа с массивами и структурами в BigQuery
Как эффективно хранить свои данные Новые хранилища данных, такие как BigQuery, а также другие решения, часто работают с денормализованными данными, поскольку эти технологии лучше работают с таблицами на основе столбцов . Чтобы избежать дублирования наборов данных во время денормализации, используются структуры и массивы. В этой статье вы вскоре узнаете, что это значит, и…
6 SQL-функций BigQuery, которые должен знать каждый пользователь
Проверьте, есть ли они в вашей базе данных В моей предыдущей статье я обсуждал 4 сочетания клавиш BigQuery SQL, которые могут упростить ваши запросы . С тех пор я обнаружил еще 6 полезных функций SQL, о которых мне хотелось бы знать раньше и которыми я хотел бы поделиться сегодня. 1. СОЗДАТЬ МАССИВ Функция GENERATE_ARRAY позволяет создать массив с начальным и конечным значением, увеличенным на шаг. Это полезно, если вы хотите сгенерировать серию чисел с определенной..
Советы по эффективным SQL-запросам — Google BigQuery
Иногда запрос, который вы пишете, может быть одноразовым или для небольшого набора данных. Но часто вы можете запрашивать данные на веб-сайте с огромными наборами данных. Поэтому очень важно, чтобы вы писали оптимизированные и эффективные запросы, которые хорошо работают для вашего варианта использования. Давайте посмотрим, что мы можем сделать? Есть две важные функции, которые вы можете сохранить, чтобы заметить производительность вашего запроса. show_amount_of_data_scanned()..