Почему Hadoop сообщает "Нездоровые Node локальные диски и журналы-журналы плохие"?

Я пытаюсь настроить одиночный node Hadoop 2.6.0 кластер на моем ПК.

При посещении http://localhost:8088/cluster я обнаружил, что мой node указан как "нездоровый node".

В отчете о работоспособности он содержит ошибку:

1/1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir; 
1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs

Что не так?

Ответ 1

Наиболее распространенная причина local-dirs are bad связана с доступным дисковым пространством на node превышающем пряжу max-disk-utilization-per-disk-percentage значение по умолчанию 90.0%.

Либо очистите диск, на котором работает нездоровый node, либо увеличьте порог в yarn-site.xml

<property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>98.5</value>
</property>

Избегайте отключения проверки диска, потому что ваши задания могут завершиться неудачно, если на диске в конечном итоге не хватит места или возникают проблемы с разрешением. Подробнее см. В разделе yarn-site.xml Disk Checker.

FSCK

Если вы подозреваете, что в каталоге есть ошибка файловой системы, вы можете проверить, запустив

hdfs fsck /tmp/hadoop-hduser/nm-local-dir

Ответ 2

Пожалуйста, попробуйте добавить конфигурацию в файл narn-site.xml

имя = yarn.nodemanager.disk медико-checker.enable Значение = ложь

Он может работать на моем сайте.

И rm/usr/local/hadoop/logs. например: rm -rf/usr/local/hadoop/logs mkdir -p/usr/local/hadoop/logs

Ответ 3

Это может быть вызвано неправильным расположением каталога журнала, настроенным yarn.nodemanager.log-dirs в yarn-site.xml. Либо каталог фактов не существует, либо имеет неправильные разрешения.

Ответ 4

У меня была аналогичная проблема, загрузка sqoop просто зависала, когда hdfs достигла 90%. После того, как я изменил значение для max-disk-usage-per-disk-percent и загрузки трещин тревоги, загрузка загружается снова. Благодаря

Ответ 5

В macOS с Hadoop, установленным с помощью brew, мне пришлось изменить /usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/yarn-site.xml, чтобы включить следующее:

<property>
  <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
  <value>0</value>
</property>

Настройка в основном полностью отключила проверку работоспособности диска

Я нашел файл, используя brew list hadoop.

$ brew list hadoop | grep yarn-site.xml
/usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/yarn-site.xml
/usr/local/Cellar/hadoop/2.8.1/libexec/share/hadoop/tools/sls/sample-conf/yarn-site.xml