У меня есть приложение для искры Spark и Flink k. Мой тестовый пример - кластеризация на 1 миллион точек в кластере 3 node.
Когда начались узкие места в памяти, Флинк начинает аутсорсинг на диск и работает медленно, но работает. Однако Spark потеряет исполнителей, если память заполнена и снова запускается (бесконечный цикл?).
Я пытаюсь настроить настройку памяти с помощью списка рассылки здесь, спасибо. Но Spark все еще не работает.
Нужно ли устанавливать какие-либо конфигурации? Я имею в виду, что Флинк работает с низкой памятью, Spark также должен быть в состоянии; или нет?