У меня есть таблица Cassandra, которая для простоты выглядит примерно так:
key: text
jsonData: text
blobData: blob
Я могу создать базовый фрейм данных для этого, используя искру и искро-кассандра-коннектор, используя:
val df = sqlContext.read
.format("org.apache.spark.sql.cassandra")
.options(Map("table" -> "mytable", "keyspace" -> "ks1"))
.load()
Я изо всех сил пытаюсь расширить данные JSON в своей базовой структуре. В конечном итоге я хочу иметь возможность фильтровать на основе атрибутов в строке json и возвращать данные blob. Что-то вроде jsonData.foo = "bar" и return blobData. Возможно ли это в настоящее время?