Публикации по теме 'google-bigquery'


Советы по эффективным SQL-запросам — Google BigQuery
Иногда запрос, который вы пишете, может быть одноразовым или для небольшого набора данных. Но часто вы можете запрашивать данные на веб-сайте с огромными наборами данных. Поэтому очень важно, чтобы вы писали оптимизированные и эффективные запросы, которые хорошо работают для вашего варианта использования. Давайте посмотрим, что мы можем сделать? Есть две важные функции, которые вы можете сохранить, чтобы заметить производительность вашего запроса. show_amount_of_data_scanned()..

Вопросы по теме 'google-bigquery'

Использование BigQuery для анализа журналов
Я пытаюсь провести анализ журналов с помощью BigQuery. В частности, у меня есть приложение appengine и клиент javascript, который будет отправлять данные журнала в BigQuery. В bigquery я сохраню полный текст журнала в одном столбце, но также извлечу...
2410 просмотров
schedule 04.07.2023

Bigquery Повышение точности проблемы
У нас есть проблема с повышением точности BigQuery, наш случай использования следующий: мы используем таблицу из 1 600 миллионов записей, таблицу не слишком большую для наших проблем, и мы пытаемся найти уникальных пользователей. Сначала мы думали...
435 просмотров
schedule 01.08.2022

Ошибка несанкционированного доступа Google Bigquery 401 при использовании сервисного аккаунта
Я столкнулся с проблемой «401 Unauthorized», когда попробовал фрагмент bigquery от Майкла из этот пост на моем компьютере. . Как предложил ryguyrg, я синхронизировал время своего компьютера (нажав «обновить сейчас»), и код заработал. Но проблема в...
3306 просмотров
schedule 12.04.2022

Предотвращение дублирования с помощью конвейера MapReduce to BigQuery
Я читал ответ Майкла на этот пост здесь, в котором предлагается использовать конвейер для перемещения данных из хранилища данных в облачное хранилище в большой запрос. Google App Engine: использование Big Query в хранилище данных? Я хочу...
476 просмотров
schedule 12.01.2024

Двойной импорт BigQuery
Я использую Google BigQuery из движка приложения. У меня есть задание cron, которое запускается каждые 15 минут для экспорта в BigQuery. Однако случайным образом импорт выполняется дважды. Однако в логах appengine это не отражено. У меня есть...
287 просмотров
schedule 23.05.2023

Google Bigquery сообщает, что для этого проекта не включена функция биллинга.
Я пытаюсь загрузить данные в новую таблицу BigQuery, но когда я запускаю следующее в «оболочке bq» загрузить ct.ads /tmp/data.csv id: integer, source: string, clicks: integer я получил Ожидание job_7e1d39b261d041da8674a769e8275b91 ......
2801 просмотров
schedule 04.11.2022

Получение ошибки Backend. Пожалуйста, попробуйте еще раз. из bq при запуске SELECT в таблицу
Кажется, я периодически получаю следующую ошибку: Ошибка BigQuery в операции запроса: Backend error. Пожалуйста, попробуйте еще раз. Когда я запускаю запросы, которые выглядят так: ВЫБЕРИТЕ ИД_кампании, куки, тип_точки ИЗ myproject.mytable...
157 просмотров
schedule 17.12.2023

Ошибка BigQuery в операции загрузки: токен недействителен — недопустимый токен: срок действия токена без сохранения состояния истек
Я вижу следующую ошибку: Ошибка BigQuery при загрузке: недействительный токен — недопустимый токен: срок действия токена без сохранения состояния истек. когда я пытаюсь загрузить большой текстовый (или сжатый gzip) файл (~ 90 миллионов записей)...
408 просмотров
schedule 20.08.2023

Запрос Bigquery для поиска имен столбцов таблицы
Мне нужен запрос, чтобы найти имена столбцов таблицы (метаданные таблицы) в Bigquery, как следующий запрос в SQL: SELECT column_name,data_type,data_length,data_precision,nullable FROM all_tab_cols where table_name ='EMP';
30267 просмотров
schedule 17.08.2022

Google App Engine и Google Big Query
Я рассматриваю инфраструктуру Google и Google App Engine для своего проекта. Одна вещь, на которую я надеялся, заключалась в том, что я могу использовать хранилище данных Google App Engine в качестве источника данных для больших запросов, но, видимо,...
414 просмотров
schedule 13.06.2023

Типы данных BigQuery
Я начинаю с нового проекта и просто хотел проверить, прежде чем определять схему таблицы Поддерживает ли BigQuery что-либо, кроме: string – integer – float– boolean –
20388 просмотров
schedule 18.08.2022

Как присоединиться к целочисленным полям, которым BigQuery присвоил разные типы?
При попытке объединить две таблицы ('A' и 'B') в числовом поле, где каждая таблица имеет точно такой же диапазон значений, я получаю следующую ошибку: Ошибка: поля X и Y имеют разные типы TYPE_INT64 и TYPE_INT32, поэтому они не могут быть...
648 просмотров
schedule 21.12.2021

Ошибка при загрузке данных в BigQuery через командную строку: обновлено
Выполнил ночную работу с использованием скрипта. Это работало для многих таблиц, а затем около 4 часов назад, примерно в 7 утра по IST, начало вести себя странно. Теперь даже отдельные команды дают ту же ошибку. bq load --max_bad_records=10...
1012 просмотров
schedule 06.05.2023

Как отфильтровать данные хранилища данных перед сопоставлением с облачным хранилищем с помощью MapReduce API?
О лаборатории кода здесь , как мы можем фильтровать данные хранилища данных в заданиях mapreduce, а не извлекать все объекты для определенного типа сущностей? В приведенном ниже определении конвейера сопоставления единственным параметром чтения...
759 просмотров

Запрос токена доступа к учетной записи службы Google OAuth2 дает ответ «Неверный запрос»
Я пытаюсь связаться с API BigQuery, включенным в мое приложение, с помощью метода «сервер-сервер». Я поставил все галочки в этом руководстве Google , чтобы создать свой JWT наилучшим образом. можно на С#. А я в Base64Url закодировал все, что...
6034 просмотров
schedule 09.05.2023

Есть ли способ выполнить задание с предварительно скомпилированным sql и запустить его несколько раз через java api (bigquery)
Есть ли способ выполнить задание с предварительно скомпилированным sql и запустить его несколько раз через java api (bigquery)? Я знаю, что могу использовать задания, но нет возможности быстро перезапустить задание. Как утверждает гугл: Не...
68 просмотров
schedule 24.06.2023

Драйвер JDBC для Google BigQuery?
Кто-нибудь знает какой-нибудь интерфейс JDBC или драйвер для Google BigQuery? Только Java, пожалуйста - я закончил с библиотекой Python.
6362 просмотров
schedule 28.09.2022

Google BigQuery с документацией / примерами .NET
Мне нужно запрашивать данные с помощью Google BigQuery API . Но я изо всех сил пытаюсь найти образцы .NET, а документация не была включена в двоичный файл (Google.Apis.Bigquery.dll) . Может ли кто-нибудь предоставить мне образец использования .NET?
5000 просмотров
schedule 25.09.2023

сводка всех заданий bq
Есть ли способ перечислить все идентификаторы заданий с помощью инструмента командной строки bq для заданного периода времени? Что мне нужно сделать, так это перебрать все идентификаторы и найти, есть ли какая-либо ошибка. Я использую...
5035 просмотров
schedule 18.08.2022

новые строки в больших строках запроса
Что именно означает «новые строки в строках»? https://developers.google.com/bigquery/docs/quota-policy#import Как это проверить и удалить? Import Jobs: Daily limit: 1,000 import jobs per table per day (including failures), 10,000 import...
5569 просмотров
schedule 22.02.2023