Ограничение использования ОЗУ в программе python

Я пытаюсь ограничить использование ОЗУ с помощью программы Python до половины, поэтому он не полностью зависает, когда используется вся ОЗУ, для этого я использую следующий код, который не работает, и мой ноутбук все еще замораживание:

import sys
import resource

def memory_limit():
    rsrc = resource.RLIMIT_DATA
    soft, hard = resource.getrlimit(rsrc)
    soft /= 2
    resource.setrlimit(rsrc, (soft, hard))

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('MAXIMUM MEMORY EXCEEDED')
        sys.exit(-1)

Я использую другие функции, которые я вызываю из функции main.

Что я делаю неправильно?

Спасибо заранее.

PD: Я уже искал об этом и нашел код, который я поставил, но он все еще не работает...

ОТВЕТЫ

Ответ 1

Хорошо, поэтому я провел некоторое исследование и нашел функцию для получения памяти из Linux-систем: Определить бесплатную ОЗУ в Python, и я немного изменил ее получить доступную свободную память и установить максимальную доступную память как ее половину.

код:

def memory_limit():
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 / 2, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('\n\nERROR: Memory Exception\n')
        sys.exit(1)

Строка, чтобы установить ее в половину, равна resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 / 2, hard)), где get_memory() * 1024 / 2 устанавливает ее в половину (она в байтах).

Надеюсь, это поможет другим в будущем с тем же вопросом! =)

Ответ 3

Решение Ulises работает. Он выдаст ошибку segfault и создаст дамп ядра, если ваша система настроена в Linux.

Я опасаюсь, является ли хорошей практикой принудительно вызывать ошибку сегментации/дамп ядра из программы? Причиняет ли это повреждение вашей оперативной памяти?

Публикация моего комментария/встречного вопроса в качестве ответа, потому что я пока не могу комментировать здесь из-за отсутствия баллов :-(

Ответ 4

Я изменяю ответ @Ulises CT. Потому что я думаю, что менять слишком много оригинальных функций не очень хорошо, поэтому я обращаюсь к декоратору. Надеюсь, это поможет.

import resource
import platform
import sys

def memory_limit(percentage: float):
    """
    只在linux操作系统起作用
    """
    if platform.system() != "Linux":
        print('Only works on linux!')
        return
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 * percentage, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

def memory(percentage=0.8):
    def decorator(function):
        def wrapper(*args, **kwargs):
            memory_limit(percentage)
            try:
                function(*args, **kwargs)
            except MemoryError:
                mem = get_memory() / 1024 /1024
                print('Remain: %.2f GB' % mem)
                sys.stderr.write('\n\nERROR: Memory Exception\n')
                sys.exit(1)
        return wrapper
    return decorator

@memory(percentage=0.8)
def main():
    print('My memory is limited to 80%.')