Я использую источник Кафки в Spark Structured Streaming для получения записей Avro в кодировке Confluent. Я намерен использовать реестр Confluent Schema, но интеграция с потоковой структурой с искрой кажется невозможной.
Я видел этот вопрос, но не смог заставить его работать с реестром схемы Confluent. Чтение сообщений Avro от Kafka с помощью Spark 2.0.2 (структурированная потоковая передача)