Как распаковать hasoop уменьшить выходной файл с помощью snappy?

Наш кластер hadoop использует snappy в качестве кодека по умолчанию. Задание Hadoop уменьшает имя выходного файла, как part-r-00000.snappy. JSnappy не удается распаковать файл bcz JSnappy требует, чтобы файл начинался с SNZ. Уменьшение выходного файла начинается с некоторых байтов 0 как-то.

Как я могу распаковать файл?

Ответ 1

Используйте "Hadoop fs -text", чтобы прочитать этот файл и передать его в txt файл. например:

hasoop fs -text part-r-00001.snappy > /tmp/mydatafile.txt