Я использую Spark 2.2.0.
Как я могу подавать поток Amazon SQS для создания структурированного потока с помощью pyspark?
Этот вопрос пытается ответить на него для неструктурированной потоковой передачи и для scala, создав пользовательский приемник.
Возможно ли что-то подобное в pyspark?
spark.readStream \
.format("s3-sqs") \
.option("fileFormat", "json") \
.option("queueUrl", ...) \
.schema(...) \
.load()
Согласно Databricks выше приемник может использоваться для источника файлов S3-SQS. Однако, только для SQS, как можно подойти.
Я получал сообщение от AWS-SQS-Receive_Message. Однако, как напрямую отправлять поток в искрообразование, неясно.