Я новичок в мире Hadoop и хочу знать разницу между честными и планировщиками мощности. И когда мы должны использовать их? Пожалуйста, ответьте простым способом, потому что я много читаю в Интернете, но от них я не получаю много.
В чем разница между планировщиками справедливой и пропускной способности?
Ответ 1
Справедливое планирование - это метод назначения ресурсов для заданий, так что все задания получают в среднем равную долю ресурсов с течением времени. Когда выполняется одно задание, это задание использует весь кластер. Когда отправляются другие задания, для новых заданий назначаются слоты для заданий, которые освобождаются, поэтому каждое задание получает примерно одинаковое количество процессорного времени. В отличие от планировщика Hadoop по умолчанию, который формирует очередь заданий, это позволяет выполнять короткие задания в разумные сроки, а не голодать долгое время. Это также разумный способ совместного использования кластера между несколькими пользователями. Наконец, справедливый обмен может также работать с приоритетами работы - приоритеты используются в качестве весов для определения доли общего времени вычисления, которое должно получить каждая работа.
The CapacityScheduler предназначен для совместного использования большого кластера, предоставляя каждой организации гарантию минимальной емкости. Основная идея заключается в том, что имеющиеся ресурсы в кластере Hadoop Map-Reduce разделены между несколькими организациями, которые коллективно финансируют кластер на основе вычислительных потребностей. Существует дополнительное преимущество, которое организация может получить в любой избыточной емкости, не используемой другими. Это обеспечивает эластичность для организаций экономически эффективным способом.
Ответ 2
Ниже приведено подробное сравнение двух планировщиков.
