Правильно регистрировать сообщения protobuf как неэкранированный JSON с помощью регистратора zap.

У меня есть проект Go, в котором я использую структурированное ведение журнала Zap для регистрации содержимого структур. Вот как я инициализирую регистратор:

zapLog, err := zap.NewProductionConfig().Build()
if err != nil {
    panic(err)
}

Изначально я начал со своих собственных структур с тегами json, и все работало отлично:

zapLog.Info("Event persisted", zap.Any("event", &event))

Результат:

{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id", 
 "type":"updated", "value":"{...}", "context":{"foo":"bar"}}}

Теперь я переключился на protobuf и изо всех сил пытаюсь добиться того же результата. Первоначально я просто получил отраженную версию карты при использовании zap.Any():

zapLog.Info("Event persisted", zap.Any("event", &event))

{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"sourceType:TYPE_X sourceId:\"some-source-id\", 
 type:\"updated\" value:{...}, context:<key: foo, value:bar>}

Я попытался упорядочить объект с помощью маршаллера jsonpb, который сгенерировал правильный вывод сам по себе, однако, когда я использую его в zap.String(), строка экранируется, поэтому я получаю дополнительный набор «\» перед каждой кавычкой. Поскольку обработка журналов происходит позже, это вызывает проблемы, и поэтому я хочу этого избежать:

m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf, msg); err != nil {
    // handle error
}
zapLog.Info("Event persisted", zap.ByteString("event", buf.Bytes()))

Результат:

{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":"{\"sourceType\":\"TYPE_X\", \"sourceId\":\"some-source-id\", 
 \"type\":\"updated\", \"value\":\"{...}\", \"context\":{\"foo\":"bar\"}}"}

Затем я попытался использовать zap.Reflect() вместо zap.Any(), что было ближе всего к тому, что мне нужно, за исключением того, что перечисления отображаются как их числовые значения (первоначальное решение не имело перечислений, поэтому это не работало в pre-protobuf). решение либо):

zapLog.Info("Event persisted", zap.Reflect("event", &event))

Результат:

{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
 "msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id", 
 "type":"updated", "value":"{...}", "context":{"foo":"bar"}}}

Единственный вариант, который я пока вижу, это написать свою собственную функцию MarshalLogObject():

type ZapEvent struct {
    event *Event
}

func (z *ZapEvent) MarshalLogObject(encoder zapcore.ObjectEncoder) error {

  encoder.AddString("sourceType", z.event.SourceType.String()
  // implement encoder for each attribute

}

func processEvent(e Event) {
   ...
   zapLog.Info("Event persisted", zap.Object("event", &ZapEvent{event: &e}))
}

Но поскольку это сложная структура, я бы предпочел использовать менее подверженное ошибкам и сложное в обслуживании решение. В идеале я бы посоветовал zap как-то использовать маршаллер jsonpb, но я не знаю, возможно ли это.


go protocol-buffers protobuf-go go-zap
person VHristov    schedule 16.07.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Используйте zap.Any с json.RawMessage. Вы можете напрямую преобразовать байтовый вывод jsonpb.Marshaler:

    foo := &pb.FooMsg{
        Foo: "blah", 
        Bar:  1,
    }

    m := jsonpb.Marshaler{}
    var buf bytes.Buffer
    if err := m.Marshal(&buf, foo); err != nil {
        // handle error
    }

    logger, _ := zap.NewDevelopment()
    logger.Info("Event persisted", zap.Any("event", json.RawMessage(buf.Bytes())))

Байты будут напечатаны как:

Событие сохранилось {event: {foo:blah,bar:1}}`

Я считаю, что это самый простой способ, однако я также знаю о пакете kazegusuri/go-proto-zap-marshaler (я к ней не причастен), который генерирует MarshalLogObject() реализаций в виде подключаемого модуля протокола. Вы можете взглянуть на это тоже.

person blackgreen    schedule 20.07.2021
comment
Удивительно! Работает как шарм. Большое спасибо! - person VHristov; 21.07.2021