Мне удалось запустить искровое приложение на пряжу. Однако использование emory довольно странно, как вы можете видеть ниже:
Что означает зарезервированная память? Как я могу эффективно использовать всю доступную память?
Спасибо заранее.
Что такое память, зарезервированная для пряжи
Ответ 1
Просмотрите этот блог от Cloudera, который объясняет новое управление памятью в YARN.
Здесь соответствующие биты:
... Детализация этого изменения, которая предотвращает голодание голодающих в соответствии с этой новой гибкостью, - это понятие зарезервированных контейнеров. Представьте себе, что выполняются два задания, каждый из которых имеет достаточно задач, чтобы насытить больше, чем весь кластер. Одна работа требует, чтобы каждый из своих карт получал 1 ГБ, а другая работа требует, чтобы его картографы получали 2 ГБ. Предположим, что первое задание начинается и заполняет весь кластер. Всякий раз, когда одна из его задач заканчивается, он оставит открытым слот 1 ГБ. Несмотря на то, что вторая работа заслуживает пространства, наивная политика даст ее первой, потому что это единственная работа с задачами, которые подходят. Это может привести к тому, что вторая работа будет голодать неограниченно долго. Чтобы предотвратить эту неудачную ситуацию, когда в приложении предлагается пространство в node, если приложение не может сразу его использовать, оно резервирует его, и никакому другому приложению не может быть выделен контейнер на этом node до тех пор, пока бронирование не будет выполнено, Каждый node может иметь только один зарезервированный контейнер. Общая сумма зарезервированной памяти указывается в пользовательском интерфейсе ResourceManager. Большое число означает, что для получения новых рабочих мест может потребоваться больше времени.,,
Ответ 2
Контейнер переходит в зарезервированное состояние, когда контейнер назначается некоторому узлу менеджера узлов, которому не хватает ресурсов (ЦП или памяти) для него.