Ограничение физической памяти на процесс

Я пишу алгоритм для выполнения некоторых внешних вычислений памяти, т.е. когда ваши входные данные не вписываются в основную память, и вам приходится учитывать сложность ввода/вывода.

Так как для моих тестов я не всегда хочу использовать реальные входы, я хочу ограничить объем памяти, доступный для моего процесса. Я нашел, что я могу установить параметр ядра mem для ограничения физически используемой памяти всех процессов (это верно?)

Есть ли способ сделать то же самое, но с лимитом на процесс. Я видел ulimit, но он ограничивает только виртуальную память для каждого процесса. Любые идеи (возможно, я могу даже установить его программно из моего кода на С++)?

Ответ 1

Вы можете попробовать с 'cgroups'. Для их использования введите следующие команды: root.

# mkdir /dev/cgroups
# mount -t cgroup -omemory memory /dev/cgroups
# mkdir /dev/cgroups/test
# echo 10000000 > /dev/cgroups/test/memory.limit_in_bytes
# echo 12000000 > /dev/cgroups/test/memory.memsw.limit_in_bytes
# echo <PID> > /dev/cgroups/test/tasks

Где PID процесса, который вы хотите добавить в группу. Обратите внимание, что предел применяется к сумме всех процессов, назначенных этой группе.

С этого момента процессы ограничены 10 МБ физической памяти и 12 Мбайт pysical + swap.

В этом каталоге есть другие настраиваемые параметры, но точный список будет зависеть от используемой версии ядра.

Вы даже можете создавать иерархии ограничений, просто создавая подкаталоги.

Сгруппа наследуется, когда вы fork/exec, поэтому, если вы добавите оболочку из вашей программы, запущенной в группу, она будет назначена автоматически.

Обратите внимание, что вы можете монтировать группы в любой каталог, который вы хотите, а не только/dev/cgroups.

Ответ 2

Я не могу предоставить прямой ответ, но, как правило, пишу свою собственную систему управления памятью, чтобы я мог полностью контролировать область памяти и сколько я выделяю. Это обычно применяется, когда вы пишете для микроконтроллеров. Надеюсь, что это поможет.

Ответ 3

Я бы использовал setrlimti с параметром RLIMIT_AS, чтобы установить предел виртуальной памяти (это то, что делает ulimit), а затем использовать процесс mlockall (MCL_CURRENT | MCL_FUTURE), чтобы заставить ядро сбой и заблокировать его в физическом ОЗУ все страницы процесса, так что количество виртуальных == количество физической памяти для этого процесса

Ответ 4

Вы считали, что пытаетесь использовать свой код в какой-то виртуальной среде? Виртуальная машина может быть слишком большой для ваших нужд, но что-то вроде User-Mode Linux может быть хорошей подгонкой. Это запускает ядро Linux как единый процесс внутри вашей обычной операционной системы. Затем вы можете предоставить отдельный параметр ядра mem=, а также отдельное пространство подкачки для проведения контролируемых экспериментов.

Ответ 5

Kernel mem= параметр загрузки ограничивает количество памяти в общей операционной системе.

Это почти никогда не требуется пользователю.

Для физической памяти существует RSS rlimit aka RLIMIT_AS.

Ответ 6

Как уже отмечали другие плакаты, setrlimit является наиболее вероятным решением, оно контролирует пределы всех настраиваемых аспектов среды процесса. Используйте эту команду для просмотра этих отдельных параметров в процессе работы оболочки:

ulimit -a

Ниже перечислены наиболее важные для вашего сценария результаты:

data seg size           (kbytes, -d) unlimited
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
virtual memory          (kbytes, -v) unlimited

Оформить страницу руководства для setrlimit ( "man setrlimit" ), ее можно вызывать программно из вашего кода C/С++. Я использовал его для хорошего эффекта в прошлом для контроля ограничений размера стека. (Кстати, для ulimit нет специальной справочной страницы, на самом деле это встроенная команда bash, поэтому она находится на странице bash man.)