Как возникает пилообразный паттерн потребительского отставания Kafka?

Только что выяснил, что низкочастотный пилообразный рисунок не настоящий. И объяснение довольно интересное. ;)

Когда я проверяю задержку потребителя с помощью командной строки (kafka-consumer-groups --bootstrap-server=[...] --group [...] --describe), я вижу, что общая задержка потребителя (сумма задержек на раздел) колеблется очень быстро. В какой-то момент это около 6000, через 2 секунды около 1000, еще через 2 секунды может быть 9000.

Однако показанный график, похоже, основан на выборках, взятых с более низкой частотой, что нарушает Теорема Найквиста–Шеннона о выборке. Таким образом, усреднение не работает, и мы видим муаровый узор.

Вывод: пилообразный паттерн — всего лишь иллюзия.

Для полноты, вот симуляция, изображающая эффект:

#!/usr/bin/env python3
"""Simulate moire effect of Kafka-consumer-lag graph.
"""

import random

import matplotlib.pyplot as plt


def x_noise_sampling() -> int:
    return 31 + random.randint(-6, 6)


def main() -> None:
    max_x = 7000
    sample_rate = 97
    xs = list(range(max_x))
    ys = [x % 100 for x in xs]
    xs2 = [x + x_noise_sampling() for x in range(0, max_x - 100, sample_rate)]
    ys2 = [ys[x2] for x2 in xs2]

    plt.figure(figsize=(16, 9))
    plt.xlabel('Time')
    plt.xticks([])
    plt.yticks([])
    plt.ylabel('Consumer lag')
    signal, = plt.plot(xs, ys, '-')
    samples, = plt.plot(xs2, ys2, 'bo')
    interpolated, = plt.plot(xs2, ys2, '-')
    plt.legend([signal, samples, interpolated], ['Signal', 'Samples', 'Interpolated samples'])
    plt.savefig('sawtooth_moire.png', dpi=100)
    plt.show()


if __name__ == '__main__':
    main()