Уничтожение DFS в Hadoop

Как уничтожить DFS в Hadoop?

ОТВЕТЫ

Ответ 1

Вам нужно сделать две вещи:

  • Удалите основной каталог хранилища файлов из всех node. Этот каталог определяется свойством hadoop.tmp.dir в вашем hdfs-site.xml.

  • Переформатировать наменодание:

hadoop namenode -format

Если вы делаете только (2), он удаляет только метаданные, хранящиеся в namenode, но не избавится от всех блоков временного хранения и данных.

Ответ 2

bin/hadoop namenode -format

Ответ 3

hdfs dfs -rm -r "/*"

(старый ответ был устаревшим)

Ответ 4

Итак, это то, что я должен был сделать в прошлом.

1. Перейдите в свой каталог adoop на свой NameNode, а затем остановите все процессы hasoop. Запустив default-stop script. Это также остановит DFS. например.

cd myhadoopdirectory
bin/stop-all.sh

2. Теперь на каждой машине в вашем кластере (Namenodes, JobTrackers, datanodes и т.д.) Удалите все файлы в вашем основном хранилище для хранилища, в папке temp в корневой папке. Ваш файл можно найти в файле conf hdfs-site.xml с использованием свойства hadoop.tmp.dir, например.

cd /temp/
rm -r *

3. Наконец вернитесь к своему имени node и отформатируйте его, перейдя в ваш каталог hadoop и запустив 'bin/hadoop namenode -format', например.

cd myhadoopdirectory
bin/hadoop namenode -format

4. Запустите кластер, выполнив следующую команду. Он снова запустит DFS.

bin/start-all.sh

5. И он должен работать.

Ответ 5

Вы можете выпустить

hadoop fs -rmr /

Это приведет к удалению всех каталогов и подкаталогов в DFS.

Другой вариант - остановить кластер и затем выпустить:

hadoop namenode -format

Это приведет к удалению всего содержимого в DFS, а затем снова запустит кластер.

Ответ 6

  • Вам нужно позвонить bin/stop-all.sh, чтобы остановить dfs и mapreduce.
  • Удалить каталог данных, который настроен в conf/hdfs-site.xml и conf/mapred-site.xml.
  • Убедитесь, что вы удалили временные файлы, существующие в каталоге /tmp.

После всех вышеуказанных шагов вы можете вызвать bin/hadoop namenode -format для восстановления dfs.

Ответ 7

  • Остановите кластер

    ${HADOOP_HOME}/bin/stop-mapred.sh

    ${HADOOP_HOME}/bin/stop-dfs.sh

    или если его псевдораспространение, просто выполните:

    ${HADOOP_HOME}/bin/stop-all.sh

  • Отформатируйте hdfs

    hadoop namenode -format