Как работает doRedis?

Я играл с R-интерфейсом в базе данных redis, а также doRedis параллельный сервер для foreach. У меня есть несколько вопросов, чтобы помочь мне лучше применить этот инструмент:

  • doMC, doSMP, doSnow и т.д. все работают, вызывая рабочие процессы на одном компьютере, передавая им элемент из списка и функцию для применения, а затем собирая результаты. В случае с doMC рабочие обмениваются памятью. Тем не менее, я немного смущен тем, как база данных может предоставить эту же функциональность.
  • Когда я добавляю дополнительный подчиненный компьютер в очередь выполнения doRedis (как в этом видео), вся база данных doredis отправляется на ведомый компьютер? Или каждый подчиненный только данные, которые ему нужны в определенный момент (т.е. Один элемент списка и функция для применения).
  • Как явным образом передаю дополнительные данные и функции в очередь выполнения doRedis, чтобы каждому подчиненному устройству нужно было выполнить его вычисления?
  • При использовании doRedis и foreach есть ли дополнительные "gotchas", которые могут не применяться к другим параллельным бэкэндам?

Я знаю, что это много вопросов, но я столкнулся с ситуациями, когда мое ограниченное понимание того, как работает параллельная обработка, мешает моим способностям реализовать ее. Например, я недавно попытался распараллелить вычисления в большой базе данных и поймал себя на передачу всей базы данных на каждый node в моем кластере - операцию, которая полностью уничтожила все преимущества, которые я получил от распараллеливания.

Спасибо!

ОТВЕТЫ

Ответ 1

Одна часть головоломки rredis

1 - doRedis использует rredis. В частности, doRedis.R использует redis: RPush (поскольку он выполняет итерацию по foreach), и каждый redisWorker использует redis: BRPop, чтобы получить что-то из redis list (который вы назвали в своей задаче doRedis).

Redis - это не просто база данных. Здесь он используется как очередь!

2 - У вас есть 1 экземпляр (удаленно), доступный для всех ваших сотрудников R. Подумайте о сервере Redis как распределенной очереди. Мастер задания перемещает элементы в список, а рабочие захватывают и обрабатывают и обрабатывают его, а затем перетаскивают в список результатов. Вы можете иметь m рабочих для N предметов. Зависит от того, что вы хотите сделать.

3 - Используйте параметр env. Это использует Redis: Set, к которому все рабочие имеют доступ (через Redis: Получить). Вы передаете разделительное выражение на стороне foreach и установлено в string key в redis, доступ к которому у рабочих.

4 - Нет, что я знаю (но это вряд ли авторитетно, поэтому спросите вокруг.) Я также предлагаю вам прочитать предоставленный исходный код. Ответы, приведенные выше, прямо из чтения doRedis.R и redisWorker.R.

Надеюсь, что это поможет.

[p.s. telnet для вашего redis и выпустить команду Redis: monitor для отслеживания болтовни назад и вперед.]