У меня есть искра, написанная в scala. Я использую
spark-shell -i <file-name>
чтобы выполнить задание. Мне нужно передать аргумент командной строки для задания. Прямо сейчас я вызываю script через задачу linux, где я делаю
export INPUT_DATE=2015/04/27
и используйте параметр переменной среды для доступа к значению с помощью:
System.getenv("INPUT_DATE")
Есть ли лучший способ обработать аргументы командной строки в Spark-shell?
spark-shell -i <(echo val theDate = $INPUT_DATE ; cat <file-name>)
Это решение вызывает добавление следующей строки в начале файла перед передачей spark-submit:
val theDate = ...,
тем самым определяя новую переменную. То, как это делается (синтаксис <( ... )), называется заменой процесса. Он доступен в Bash. Подробнее см. этот вопрос и для альтернатив (например, mkFifo) для сред Bash.
Поместите код ниже в script (например, spark-script.sh), а затем вы можете просто использовать:
./spark-script.sh your_file.scala first_arg second_arg third_arg,
и args с вашими аргументами.
Файл spark-script.sh:
scala_file=$1
shift 1
[email protected]
#set +o posix # to enable process substitution when not running on bash
spark-shell --master yarn --deploy-mode client \
--queue default \
--driver-memory 2G --executor-memory 4G \
--num-executors 10 \
-i <(echo 'val args = "'$arguments'".split("\\s+")' ; cat $scala_file)
Мое решение использует настраиваемый ключ для определения аргументов вместо spark.driver.extraJavaOptions, если когда-нибудь вы передадите значение, которое может повлиять на поведение JVM.
spark-shell -i your_script.scala --conf spark.driver.args="arg1 arg2 arg3"
Вы можете получить доступ к аргументам из вашего кода scala следующим образом:
val args = sc.getConf.get("spark.driver.args").split("\\s+")
args: Array[String] = Array(arg1, arg2, arg3)
Я использую extraJavaOptions, когда у меня есть scala script, который слишком прост для прохождения процесса сборки, но мне все равно нужно передать ему аргументы. Это не красиво, но оно работает, и вы можете быстро передать несколько аргументов:
spark-shell -i your_script.scala --conf spark.driver.extraJavaOptions="-Darg1,arg2,arg3"
Обратите внимание, что -D не принадлежит аргументам, которые являются arg1, arg2 и arg3. Затем вы можете получить доступ к аргументам из вашего кода scala следующим образом:
val sconf = new SparkConf()
val paramsString = sconf.get("spark.driver.extraJavaOptions")
val paramsSlice = paramsString.slice(2,paramsString.length)
val paramsArray = paramsSlice.split(",")
val arg1 = paramsArray(0)
Во второй строке вы загружаете строку, в третьей строке вы обрезаете -D, а в четвертой строке вы разделите строку с помощью , как разделитель и сохраните результат в массиве. Затем вы можете получить доступ к параметрам, как в пятой строке.