Я новичок в искру, и у меня есть вопрос. У меня есть двухэтапный процесс, в котором первый шаг записывает файл SUCCESS.txt в местоположение на HDFS. Мой второй шаг, который является искровым заданием, должен проверить, существует ли этот файл SUCCESS.txt до того, как он начнет обработку данных.
Я проверил искровой API и не нашел никакого метода, который проверяет, существует ли файл. Любые идеи, как справиться с этим?
Единственный найденный метод - sc.textFile(hdfs:///SUCCESS.txt).count(), который генерирует исключение, если файл не существует. Я должен поймать это исключение и написать свою программу соответственно. Мне не понравился этот подход. Надеюсь найти лучшую альтернативу.