Мой набор данных выглядит следующим образом:
KEY |Event_Type | metric | Time
001 |event1 | 10 | 2016-05-01 10:50:51
002 |event2 | 100 | 2016-05-01 10:50:53
001 |event3 | 20 | 2016-05-01 10:50:55
001 |event1 | 15 | 2016-05-01 10:51:50
003 |event1 | 13 | 2016-05-01 10:55:30
001 |event2 | 12 | 2016-05-01 10:57:00
001 |event3 | 11 | 2016-05-01 11:00:01
Я хочу получить все, когда ключи, которые это подтверждают:
"SUM метрики для определенного события > порог в течение 5 минут.
Это представляется мне идеальным кандидатом на использование Раздвижных функций Windows.
Как я могу сделать это с помощью Spark SQL?
Спасибо.