Как отправить сжатые данные в Azure Stream Analytics?

У меня есть система, собирающая данные с устройства и отправляющая данные в формате JSON в Azure Eventhub. Существует поток аналитики потока Azure, который берет данные из концентратора событий и выводит их в PowerBI. Он отправляет данные каждую секунду. Иногда соединение с Интернетом теряется, и система продолжает собирать данные с устройства. Когда подключение к Интернету восстанавливается, оно отправляет все собранные данные в eventhub. Я хотел бы заархивировать или сжать данные перед отправкой.

Но форматы ввода аналитики Stream - это только JSON, CVS или Avro. Будет ли сжатый Json автоматически распаковываться? Или мы не можем отправлять сжатые данные в Azure Stream Analytics?


person Aparna    schedule 19.08.2016    source источник


Ответы (3)


Avro сжат ... вроде как. Полезная нагрузка сжимается с помощью Deflate. Однако схема сообщения включена в несжатом виде. В некоторых случаях схема для одного события может быть больше, чем полезная нагрузка. Чем больше событий одного типа вы отправляете с каждым сообщением, тем больше преимуществ вы получите от Avro.

Если вы отправляете очень небольшое количество событий и беспокоитесь о размере полезной нагрузки, вам может быть лучше развернуть собственное сжатие и использовать что-то вроде функции Azure или WebJob для извлечения из «сырого» концентратора событий, распаковки и отправки в «распакованный» концентратор событий, который может прослушивать Stream Analytics.

person Pete M    schedule 25.01.2017

Avro - хороший способ сжать (json) данные, когда вам нужно отправить кучу строк.

С уважением,

Филип

person Filip VR    schedule 05.01.2017

Azure Stream Analytics не поддерживает распаковку входных данных.

Спасибо, Кэти Исева

person Kati Iceva    schedule 19.08.2016
comment
Не правда. По крайней мере, больше нет :) - person Peter Lillevold; 01.10.2019