Tensorflow server: я не хочу инициализировать глобальные переменные для каждой сессии

EDIT2: ниже ссылка Github содержит возможные решения проблемы вызова модели TF из процесса. Они включают в себя нетерпеливое выполнение и выделенный серверный процесс, предлагая предсказания модели TF через HTTP-запросы. Интересно, что с помощью настраиваемого сервера и запросов я выигрываю любое время по сравнению с инициализацией глобальных переменных каждый раз и вызывая tf.train.Server, но это выглядит более элегантным способом.

Я исследую утечку памяти, и если она ушла, закройте этот вопрос.

EDIT: Добавлен простой воспроизводимый пример проблемы:

https://github.com/hcl14/Tensorflow-server-launched-from-child-process

---

Предпосылки: Я запускаю сервер Tensorflow и подключаюсь к нему из "разветвленных" процессов. Создание динамических процессов (и уничтожение) для меня очень важно - я переместил сильно загруженную часть кода из-за странной утечки памяти, не видимой для профилировщиков Python (потоки не решают проблему). Поэтому я хочу быстро инициализировать процессы и немедленно начать работать. Память освобождается только тогда, когда процесс уничтожается.

Выполняя эксперименты, я нашел решение, когда загруженная модель и график сохраняются в глобальной переменной, а затем выполняются дочерним процессом (который по умолчанию использует режим "fork"), а затем вызывается сервер.

Проблема: странная вещь для меня в том, что после загрузки keras-моделей я не могу заблокировать график, который я не ожидаю изменить, и мне нужно запускать tf.global_variables_initializer() каждый раз, когда я открываю новый сеанс в дочернем процессе. Однако макет запускается в основном потоке без каких-либо работ по созданию сеансов. Я знаю, что в этом случае tensorflow использует сеанс по умолчанию, но все переменные на графике должны быть инициализированы после запуска модели, поэтому я ожидал, что новый сеанс будет работать Ok с ранее определенным графиком.

Таким образом, я думаю, что модифицирующая модель заставляет Python много раздумывать над дочерним процессом (режим "fork"), который создает вычислительные и служебные ресурсы памяти.

Пожалуйста, извините меня за много кода. Модель, которую я использую, является устаревшим и черным ящиком для меня, поэтому вполне возможно, что моя проблема связана с ней. Версия Tensorflow - 1.2 (я не могу ее обновить, модель не совместима), Python 3.6.5.

Кроме того, возможно, мое решение неэффективно, и есть лучший, я был бы благодарен за ваш совет.

Моя настройка такова:

1. Сервер Tensorflow запущен в основном процессе:

Инициализировать сервер:

def start_tf_server():
    import tensorflow as tf
    cluster = tf.train.ClusterSpec({"local": [tf_server_address]})
    server = tf.train.Server(cluster, job_name="local", task_index=0)    
    server.join() # block process from exiting

В основном процессе:

p = multiprocessing.Process(target=start_tf_server)
p.daemon=True
p.start() # this process never ends, unless tf server crashes

# WARNING! Graph initialization must be made only after Tf server start!
# Otherwise everything will hang
# I suppose this is because of another session will be 
# created before the server one

# init model graph before branching processes
# share graph in the current process scope
interests = init_interests_for_process()
global_vars.multiprocess_globals["interests"] = interests

2. init_interests_for_process() - это инициализатор модели, который загружает мою устаревшую модель и разделяет ее в глобальной переменной. Я делаю один манекен модели, чтобы все инициализировалось на графике, а затем нужно заблокировать график. Но это не работает:

def init_interests_for_process():
    # Prevent errors on my GPU and disable tensorflow 
    # complaining about CPU instructions
    import os
    os.environ["CUDA_VISIBLE_DEVICES"]= ""
    os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

    import tensorflow as tf

    from tensorflow.contrib.keras import models

    # create tensorflow graph
    graph = tf.get_default_graph()

    with graph.as_default():

        TOKENIZER = joblib.load(TOKENIZER_FILE)

        NN1_MODEL = models.load_model(NN1_MODEL_FILE)

        with open(NN1_CATEGORY_NAMES_FILE, 'r') as f:
            NN1_CATEGORY_NAMES = f.read().splitlines()

        NN2_MODEL = models.load_model(NN2_MODEL_FILE)

        with open(NN2_CATEGORY_NAMES_FILE, 'r') as f:
            NN2_CATEGORY_NAMES = f.read().splitlines()
        # global variable with all the data to be shared
        interests = {}

        interests["TOKENIZER"] = TOKENIZER
        interests["NN1_MODEL"] = NN1_MODEL
        interests["NN1_CATEGORY_NAMES"] = NN1_CATEGORY_NAMES
        interests["NN2_MODEL"] = NN2_MODEL
        interests["NN2_CATEGORY_NAMES"] = NN2_CATEGORY_NAMES
        interests['all_category_names'] = NN1_CATEGORY_NAMES + \
                                          NN2_CATEGORY_NAMES
        # Reconstruct a Python object from a file persisted with joblib.dump.
        interests["INTEREST_SETTINGS"] = joblib.load(INTEREST_SETTINGS_FILE)

        # dummy run to create graph
        x = tf.contrib.keras.preprocessing.sequence.pad_sequences(
                         TOKENIZER.texts_to_sequences("Dummy srting"),
                         maxlen=interests["INTEREST_SETTINGS"]["INPUT_LENGTH"]
                         )
        y1 = NN1_MODEL.predict(x)
        y2 = NN2_MODEL.predict(x)

        # PROBLEM: I want, but cannot lock graph, as child process 
        # wants to run its own tf.global_variables_initializer()
        # graph.finalize()

        interests["GRAPH"] = graph

        return interests

3. Теперь я запускаю процесс (фактически, процесс порожден из другого процесса - иерархия сложна):

def foo(q):
     result = call_function_which_uses_interests_model(some_data) 
     q.put(result)
     return # I've read it is essential for destroying local variables
q = Queue()
p = Process(target=foo,args=(q,))
p.start()
p.join()
result = q.get() # retrieve data

4. И внутри этого процесса я вызываю модель:

# retrieve model from global variable
interests = global_vars.multiprocess_globals["interests"]

tokenizer = interests["TOKENIZER"]
nn1_model = interests["NN1_MODEL"]
nn1_category_names = interests["NN1_CATEGORY_NAMES"]
nn2_model = interests["NN2_MODEL"]
nn2_category_names = interests["NN2_CATEGORY_NAMES"]
input_length = interests["INTEREST_SETTINGS"]["INPUT_LENGTH"]

# retrieve graph
graph = interests["GRAPH"]

# open session for server
logger.debug('Trying tf server at ' + 'grpc://'+tf_server_address)
sess = tf.Session('grpc://'+tf_server_address, graph=graph)

# PROBLEM: and I need to run variables initializer:
sess.run(tf.global_variables_initializer())


tf.contrib.keras.backend.set_session(sess)

# finally, make a call to server:
with sess.as_default():        
    x = tf.contrib.keras.preprocessing.sequence.pad_sequences(
                            tokenizer.texts_to_sequences(input_str),
                            maxlen=input_length)
    y1 = nn1_model.predict(x)
    y2 = nn2_model.predict(x)

Все работает Хорошо, если я не блокирую график и запускаю инициализатор переменной каждый раз, когда возникает новый процесс. (За исключением утечки памяти около 30-90 МБ для каждого вызова, не видимого для профилей памяти python). Когда я хочу заблокировать график, я получаю ошибки об неинициализированных переменных:

FailedPreconditionError (see above for traceback): 
Attempting to use uninitialized value gru_1/bias
       [[Node: gru_1/bias/read = Identity[T=DT_FLOAT, _class=["loc:@gru_1/bias"],
       _device="/job:local/replica:0/task:0/cpu:0"](gru_1/bias)]]

Заранее спасибо!