Коннектор кинезиса Flink - KCL

@ArvidHeise, спасибо за ответ. Ответ имеет большой смысл. Есть одна ситуация, когда я вижу необходимость в хранении идентификаторов последовательностей. Dynam DB поддерживает восстановление на определенный момент времени. Допустим, я хочу начать обработку (в данном случае повторную обработку) записей с некоторого предыдущего момента времени, я бы смог это сделать. Имея точку сохранения, я не смогу обрабатывать только последнюю запись.   -  person justlikethat    schedule 31.01.2020

Как я объяснил в другом потоке, вы можете вернуться к любой точке сохранения в прошлом. Это может быть не так точно, как Dynamo db, но работает с любым типом ввода. Кстати, даже если бы мы поддерживали порядковые номера, вы не получили бы желаемого результата, просто вернувшись назад. Любой оператор с отслеживанием состояния будет содержать неправильное состояние. Подумайте о примере счетчика другого потока: если я вернусь во времени, счетчик все еще привязан к текущей контрольной точке. Таким образом, он будет считать все дважды.   -  person Arvid Heise    schedule 31.01.2020

@ArvidHeise, вы абсолютно правы. Было бы разумно использовать точки сохранения, но давайте рассмотрим случай, когда чтение / запись контрольных точек имеет некоторую ошибку из-за изменения в полете разрешений файловой системы, и из-за этого потоковая передача задерживается. Это будет означать, что контрольные точки и точки сохранения не будут создаваться, и одна вещь, которая может спасти нас в производственной среде, - это перезапуск задания с использованием идентификатора последовательности с того момента, когда мы подозреваем, что возникла ошибка. Кроме того, для обычной точки сохранения есть ли у нас другой вариант, кроме внешнего, такого как cron.   -  person justlikethat    schedule 31.01.2020