Я хочу открыть приложения Spark для пользователей с помощью веб-приложения.
В принципе, пользователь может решить, какое действие он хочет запустить, и ввести несколько переменных, которые необходимо передать в искровое приложение. Например: Пользователь вводит несколько полей, а затем нажимает кнопку, которая выполняет следующие действия: "Запустите sparkApp1 с параметром min_x, max_x, min_y, max_y".
Приложение искры должно запускаться с параметрами, заданными пользователем. После завершения веб-приложения могут потребоваться для получения результатов (из hdfs или mongodb) и отображения их пользователю. Во время обработки веб-приложение должно отображать статус приложения Spark.
Мой вопрос:
- Как веб-приложение может запустить приложение Spark? Возможно, он сможет запустить его из командной строки под капотом, но может быть лучший способ сделать это.
- Как веб-приложение может получить доступ к текущему статусу приложения Spark? Извлекает ли статус из Spark WebUI REST API путь?
Я запускаю группу Spark 1.6.1 с YARN/Mesos (еще не уверен) и MongoDB.