Фильтр Искра DataFrame в строке содержит

Я использую Spark 1.3.0 и Spark Avro 1.0.0. Я работаю с примером на странице хранилища. Следующий код хорошо работает

val df = sqlContext.read.avro("src/test/resources/episodes.avro")
df.filter("doctor > 5").write.avro("/tmp/output")

Но что, если мне нужно посмотреть, содержит ли строка doctor подстроку? Так как мы пишем наше выражение внутри строки. Что я делаю, чтобы сделать "содержит"?

Ответ 1

Вы можете использовать contains (это работает с произвольной последовательностью):

df.filter($"foo".contains("bar"))

like (SQL как с обычным регулярным выражением SQL с _, соответствующим произвольному символу, и % соответствует произвольной последовательности):

df.filter($"foo".like("bar"))

или rlike (например, с помощью регулярных выражений Java):

df.filter($"foo".rlike("bar"))

в зависимости от ваших требований. like и rlike также должны работать с выражениями SQL.

Ответ 2

В pyspark синтаксис SparkSql:

where column_n like 'xyz%'

может не работать.

Использование:

where column_n RLIKE '^xyz'

Это прекрасно работает.