У меня есть программа Python Spark, которую я запускаю с spark-submit
. Я хочу поставить в него записи ведения журнала.
logging.info("This is an informative message.")
logging.debug("This is a debug message.")
Я хочу использовать тот же журнал, что и Spark, чтобы сообщения журнала выходили в одном формате, а уровень управлялся теми же конфигурационными файлами. Как это сделать?
Я попытался помещать инструкции logging
в код и начинать с logging.getLogger()
. В обоих случаях я вижу сообщения журнала Spark, но не мои. Я смотрел документацию по протоколу Python, но не смог понять ее там.
Не уверен, что это что-то особенное для скриптов, представленных Spark, или просто я не понимаю, как работает журнал.