Имейте блок "выбрать для обновления" в нерешаемых строках

у нас есть некоторые постоянные данные в приложении, которые запрашиваются с сервера, а затем хранятся в базе данных, поэтому мы можем отслеживать дополнительную информацию. Поскольку мы не хотим запрашивать, когда объект используется в памяти, мы делаем select for update, так что другие потоки, которые хотят получить одни и те же данные, будут заблокированы.

Я не уверен, как select for update обрабатывает несуществующие строки. Если строка не существует, а другой поток пытается сделать еще один select for update в той же строке, будет ли этот поток блокироваться до тех пор, пока другая транзакция не завершится, или не получит ли пустый набор результатов? Если он получает только пустой набор результатов, есть ли способ его блокировать, например, сразу же вставив недостающую строку?

EDIT:

Поскольку было замечание, что мы могли бы запереть слишком много, вот еще несколько подробностей о конкретном использовании в нашем случае. В сокращенном псевдокоде наш программный поток выглядит следующим образом:

d = queue.fetch();
r = SELECT * FROM table WHERE key = d.key() FOR UPDATE;
if r.empty() then
  r = get_data_from_somewhere_else();

new_r = process_stuff( r );


if Data was present then
   update row to new_r
else
   insert new_r

Этот код запускается в нескольких потоках, и данные, полученные из очереди, могут относиться к одной и той же строке в базе данных (следовательно, к блокировке). Однако, если несколько потоков используют данные, которые нуждаются в одной и той же строке, то эти потоки должны быть секвентизированы (порядок не имеет значения). Однако эта секвенциализация терпит неудачу, если строка отсутствует, потому что мы не получаем блокировку.

EDIT:

На данный момент у меня есть следующее решение, которое кажется уродливым взломом для меня.

select the data for update
if zero rows match then
  insert some dummy data   // this will block if multiple transactions try to insert
  if insertion failed then
    // somebody beat us at the race
    select the data for update

do processing

if data was changed then
   update the old or dummy data
else
   rollback the whole transaction

Я не уверен на 100%, однако это фактически решает проблему, и это решение не кажется хорошим. Поэтому, если кто-то должен предложить что-то более удобное, это будет здорово.

Ответ 1

Я не уверен, как выбор для обновления обрабатывает несуществующие строки.

Это не так.

Лучшее, что вы можете сделать, это использовать консультативную блокировку, если вы знаете что-то уникальное в новой строке. (Используйте hashtext(), если необходимо, и таблицу oid, чтобы заблокировать ее.)

Следующее лучшее - блокировка таблицы.

Сказав это, ваш вопрос звучит так, будто вы блокируете путь больше, чем вам нужно. Блокируйте строки только тогда, когда вам действительно нужно, т.е. Выполнять операции записи.

Ответ 2

Посмотрев код, добавленный во втором редактировании, он выглядит правильно.

Как для него выглядит как взлома, есть пара вариантов - в основном все это касается перемещения логики базы данных в базу данных.

Один - просто поставить весь выбор для обновления, если не существует, тогда вставьте логику в функцию и вместо select get_object(key1,key2,etc).

В качестве альтернативы вы можете создать триггер insert, который будет игнорировать попытки добавить запись, если она уже существует, и просто сделать вставку перед тем, как сделать выбор для обновления. Это имеет больше возможностей вмешиваться в другой код уже на месте, однако.

(Если я помню, я буду редактировать и добавлять пример кода позже, когда я в состоянии проверить, что я делаю.)

Ответ 3

Пример решения (я не нашел лучшего:/)

Тема А:

BEGIN;
SELECT pg_advisory_xact_lock(42); -- database semaphore arbitrary ID
SELECT * FROM t WHERE id = 1;
DELETE FROM t WHERE id = 1;
INSERT INTO t (id, value) VALUES (1, 'thread A');
SELECT 1 FROM pg_sleep(10); -- only for race condition simulation
COMMIT;

Тема B:

BEGIN;
SELECT pg_advisory_xact_lock(42); -- database semaphore arbitrary ID
SELECT * FROM t WHERE id = 1;
DELETE FROM t WHERE id = 1;
INSERT INTO t (id, value) VALUES (1, 'thread B');
SELECT 1 FROM pg_sleep(10); -- only for race condition simulation
COMMIT;

Вызывает корректный порядок выполнения транзакций.