Лучший способ вести совокупный подсчет событий Google BigQuery

У меня есть данные о просмотре страницы, которые в настоящее время хранятся в Google Firestore и автоматически загружаются в набор данных BigQuery. Я использую эти данные, чтобы показать общее количество страниц и количество популярных страниц (общее количество просмотров за последние 48 часов).

Мне нужно передать общее количество страниц и количество страниц с тенденциями (сгруппированные по страницам) в базу данных для использования на внешнем веб-сайте. Я написал BigQuery SQL для запроса общего количества, но боюсь, что со временем эти запросы станут неэффективными.

Кажется, я должен каким-то образом предварительно агрегировать счетчики в таблице по мере поступления событий (потоковая передача).

Каков наиболее эффективный способ агрегирования данных временных рядов?


person Duane    schedule 22.12.2020    source источник


Ответы (1)


Рассмотрим материализованные представления. Они требуют минимального обслуживания.

person Sergey Geron    schedule 22.12.2020
comment
Спасибо за предложение. Я проверю это. - person Duane; 24.12.2020