Я хочу перечислить все папки в каталоге hdfs с помощью Scala/Spark.
В Hadoop я могу сделать это, используя команду: hadoop fs -ls hdfs://sandbox.hortonworks.com/demo/
Я попробовал:
val conf = new Configuration()
val fs = FileSystem.get(new URI("hdfs://sandbox.hortonworks.com/"), conf)
val path = new Path("hdfs://sandbox.hortonworks.com/demo/")
val files = fs.listFiles(path, false)
Но, похоже, он не выглядит в каталоге Hadoop, поскольку я не могу найти свои папки/файлы.
Я также пробовал:
FileSystem.get(sc.hadoopConfiguration).listFiles(new Path("hdfs://sandbox.hortonworks.com/demo/"), true)
Но это также не помогает.
Есть ли у вас другая идея?
PS: Я также проверил эту тему: Искажать каталог HDFS, но он не работает для меня, поскольку он, похоже, не ищет в каталоге hdfs, а только на локальная файловая система с файлом схемы//.