У меня есть кластер Hadoop с четырьмя node на Softlayer. Мастер (NameNode) имеет общедоступный IP-адрес для внешнего доступа и частный IP-адрес для доступа к кластеру. Ведомые узлы (datanodes) имеют частный IP-адрес, который я пытаюсь подключить к мастеру, не требуя назначения публичных IP-адресов каждому подчиненному устройству node.
Я понял, что установка fs.defaultFS
на общедоступный адрес NameNode позволяет использовать внешний доступ, за исключением того, что NameNode только прослушивает этот адрес для входящих соединений, а не частный адрес. Поэтому я получаю исключения ConnectionRefused в журналах данных, поскольку они пытаются подключиться к частному IP-адресу NameNode.
Я решил, что решение может заключаться в том, чтобы установить как открытый, так и закрытый IP-адрес в NameNode, чтобы внешний доступ сохранялся и позволял моим подчиненным узлам также подключаться.
Итак, есть ли способ привязать оба этих адреса к NameNode, чтобы он прослушивал оба?
Изменить: версия Hadoop 2.4.1.