Объект «KafkaDStream» не имеет атрибута «_get_object_id»

Я пытаюсь подключить Kafak Topic, который использует Avro, к Spark Stream. Я пробую следующий код:

schema_registry_client = CachedSchemaRegistryClient(url='schema_registry_url')
serializer = MessageSerializer(schema_registry_client)

def decoder(s):
    decoded_message = serializer .decode_message(s)
    return decoded_message


kvs = KafkaUtils.createDirectStream(ssc, topic, {'bootstrap.servers': brokers}, valueDecoder=decoder)

Однако я получил следующую ошибку, когда запустил это:

Объект «Kafka DStream» не имеет атрибута «_get_object_id»

Как мы можем преодолеть это?


apache-kafka pyspark spark-streaming stream-processing
person GihanDB    schedule 10.10.2018    source источник
comment
Можно попробовать другой способ чтения Avro github.com/AbsaOSS/ABRIS   -  person OneCricketeer    schedule 10.10.2018
comment
@cricket_007, спасибо за ваше предложение, но АБРИС поддерживает только Scala, не так ли?   -  person GihanDB    schedule 11.10.2018
comment
Это весь код Java... Вы уже импортируете CachedSchemaRegistryClient, который также является классом Java.   -  person OneCricketeer    schedule 11.10.2018
comment
Извините, мой плохой, примеры Sins написаны на Scala, я запутался. Еще раз извините   -  person GihanDB    schedule 11.10.2018
comment
На самом деле, неважно, я не осознавал, что вы импортируете код Python confluent-kafka... См. stackoverflow.com/questions/36023860/   -  person OneCricketeer    schedule 11.10.2018