Публикации по теме 'google-bigquery'
Советы по эффективным SQL-запросам — Google BigQuery
Иногда запрос, который вы пишете, может быть одноразовым или для небольшого набора данных. Но часто вы можете запрашивать данные на веб-сайте с огромными наборами данных. Поэтому очень важно, чтобы вы писали оптимизированные и эффективные запросы, которые хорошо работают для вашего варианта использования.
Давайте посмотрим, что мы можем сделать?
Есть две важные функции, которые вы можете сохранить, чтобы заметить производительность вашего запроса.
show_amount_of_data_scanned()..
Вопросы по теме 'google-bigquery'
Использование BigQuery для анализа журналов
Я пытаюсь провести анализ журналов с помощью BigQuery. В частности, у меня есть приложение appengine и клиент javascript, который будет отправлять данные журнала в BigQuery. В bigquery я сохраню полный текст журнала в одном столбце, но также извлечу...
2410 просмотров
schedule
04.07.2023
Bigquery Повышение точности проблемы
У нас есть проблема с повышением точности BigQuery, наш случай использования следующий: мы используем таблицу из 1 600 миллионов записей, таблицу не слишком большую для наших проблем, и мы пытаемся найти уникальных пользователей.
Сначала мы думали...
435 просмотров
schedule
01.08.2022
Ошибка несанкционированного доступа Google Bigquery 401 при использовании сервисного аккаунта
Я столкнулся с проблемой «401 Unauthorized», когда попробовал фрагмент bigquery от Майкла из этот пост на моем компьютере. . Как предложил ryguyrg, я синхронизировал время своего компьютера (нажав «обновить сейчас»), и код заработал. Но проблема в...
3306 просмотров
schedule
12.04.2022
Предотвращение дублирования с помощью конвейера MapReduce to BigQuery
Я читал ответ Майкла на этот пост здесь, в котором предлагается использовать конвейер для перемещения данных из хранилища данных в облачное хранилище в большой запрос.
Google App Engine: использование Big Query в хранилище данных?
Я хочу...
476 просмотров
schedule
12.01.2024
Двойной импорт BigQuery
Я использую Google BigQuery из движка приложения. У меня есть задание cron, которое запускается каждые 15 минут для экспорта в BigQuery. Однако случайным образом импорт выполняется дважды. Однако в логах appengine это не отражено. У меня есть...
287 просмотров
schedule
23.05.2023
Google Bigquery сообщает, что для этого проекта не включена функция биллинга.
Я пытаюсь загрузить данные в новую таблицу BigQuery, но когда я запускаю следующее в «оболочке bq»
загрузить ct.ads /tmp/data.csv id: integer, source: string, clicks: integer
я получил
Ожидание job_7e1d39b261d041da8674a769e8275b91 ......
2801 просмотров
schedule
04.11.2022
Получение ошибки Backend. Пожалуйста, попробуйте еще раз. из bq при запуске SELECT в таблицу
Кажется, я периодически получаю следующую ошибку:
Ошибка BigQuery в операции запроса: Backend error. Пожалуйста, попробуйте еще раз.
Когда я запускаю запросы, которые выглядят так:
ВЫБЕРИТЕ ИД_кампании, куки, тип_точки ИЗ myproject.mytable...
157 просмотров
schedule
17.12.2023
Ошибка BigQuery в операции загрузки: токен недействителен — недопустимый токен: срок действия токена без сохранения состояния истек
Я вижу следующую ошибку: Ошибка BigQuery при загрузке: недействительный токен — недопустимый токен: срок действия токена без сохранения состояния истек.
когда я пытаюсь загрузить большой текстовый (или сжатый gzip) файл (~ 90 миллионов записей)...
408 просмотров
schedule
20.08.2023
Запрос Bigquery для поиска имен столбцов таблицы
Мне нужен запрос, чтобы найти имена столбцов таблицы (метаданные таблицы) в Bigquery, как следующий запрос в SQL:
SELECT column_name,data_type,data_length,data_precision,nullable FROM all_tab_cols where table_name ='EMP';
30267 просмотров
schedule
17.08.2022
Google App Engine и Google Big Query
Я рассматриваю инфраструктуру Google и Google App Engine для своего проекта. Одна вещь, на которую я надеялся, заключалась в том, что я могу использовать хранилище данных Google App Engine в качестве источника данных для больших запросов, но, видимо,...
414 просмотров
schedule
13.06.2023
Типы данных BigQuery
Я начинаю с нового проекта и просто хотел проверить, прежде чем определять схему таблицы
Поддерживает ли BigQuery что-либо, кроме:
string –
integer –
float–
boolean –
20388 просмотров
schedule
18.08.2022
Как присоединиться к целочисленным полям, которым BigQuery присвоил разные типы?
При попытке объединить две таблицы ('A' и 'B') в числовом поле, где каждая таблица имеет точно такой же диапазон значений, я получаю следующую ошибку:
Ошибка: поля X и Y имеют разные типы TYPE_INT64 и TYPE_INT32, поэтому они не могут быть...
648 просмотров
schedule
21.12.2021
Ошибка при загрузке данных в BigQuery через командную строку: обновлено
Выполнил ночную работу с использованием скрипта. Это работало для многих таблиц, а затем около 4 часов назад, примерно в 7 утра по IST, начало вести себя странно. Теперь даже отдельные команды дают ту же ошибку.
bq load --max_bad_records=10...
1012 просмотров
schedule
06.05.2023
Как отфильтровать данные хранилища данных перед сопоставлением с облачным хранилищем с помощью MapReduce API?
О лаборатории кода здесь , как мы можем фильтровать данные хранилища данных в заданиях mapreduce, а не извлекать все объекты для определенного типа сущностей?
В приведенном ниже определении конвейера сопоставления единственным параметром чтения...
759 просмотров
schedule
30.09.2022
Запрос токена доступа к учетной записи службы Google OAuth2 дает ответ «Неверный запрос»
Я пытаюсь связаться с API BigQuery, включенным в мое приложение, с помощью метода «сервер-сервер».
Я поставил все галочки в этом руководстве Google , чтобы создать свой JWT наилучшим образом. можно на С#.
А я в Base64Url закодировал все, что...
6034 просмотров
schedule
09.05.2023
Есть ли способ выполнить задание с предварительно скомпилированным sql и запустить его несколько раз через java api (bigquery)
Есть ли способ выполнить задание с предварительно скомпилированным sql и запустить его несколько раз через java api (bigquery)?
Я знаю, что могу использовать задания, но нет возможности быстро перезапустить задание.
Как утверждает гугл:
Не...
68 просмотров
schedule
24.06.2023
Драйвер JDBC для Google BigQuery?
Кто-нибудь знает какой-нибудь интерфейс JDBC или драйвер для Google BigQuery?
Только Java, пожалуйста - я закончил с библиотекой Python.
6362 просмотров
schedule
28.09.2022
Google BigQuery с документацией / примерами .NET
Мне нужно запрашивать данные с помощью Google BigQuery API . Но я изо всех сил пытаюсь найти образцы .NET, а документация не была включена в двоичный файл (Google.Apis.Bigquery.dll) . Может ли кто-нибудь предоставить мне образец использования .NET?
5000 просмотров
schedule
25.09.2023
сводка всех заданий bq
Есть ли способ перечислить все идентификаторы заданий с помощью инструмента командной строки bq для заданного периода времени? Что мне нужно сделать, так это перебрать все идентификаторы и найти, есть ли какая-либо ошибка.
Я использую...
5035 просмотров
schedule
18.08.2022
новые строки в больших строках запроса
Что именно означает «новые строки в строках»?
https://developers.google.com/bigquery/docs/quota-policy#import
Как это проверить и удалить?
Import Jobs: Daily limit: 1,000 import jobs per table per day (including failures), 10,000 import...
5569 просмотров
schedule
22.02.2023