У меня есть 4 компланарных точки в видео (или изображении), представляющих квадрат (не обязательно квадрат или прямоугольник), и я хотел бы иметь возможность отображать виртуальный куб поверх них, где расположены углы куба точно на углах видеокарты.
Так как точки копланарны, я могу вычислить гомографию между углами единичного квадрата (т.е. [0,0] [0,1] [1,0] [1,1]) и видеокоды квадранта,
Из этой гомографии я должен иметь возможность вычислить правильную позу камеры, т.е. [R | t], где R является матрицей вращения 3x3, а t является вектором трансляции 3x1, так что виртуальный куб лежит на видеоцикле.
Я прочитал много решений (некоторые из них на SO) и попытался их реализовать, но они, похоже, работают только в некоторых "простых" случаях (например, когда квадрат видео является квадратом), но не работают в большинстве случаев.
Вот методы, которые я пробовал (большинство из них основаны на одних и тех же принципах, только вычисление перевода несколько отличается). Пусть K - внутренняя матрица из камеры, H - гомография. Мы вычисляем:
A = K-1 * H
Пусть a1, a2, a3 - столбчатые векторы A и r1, r2, r3 векторы столбцов матрицы вращения R.
r1 = a1 / ||a1||
r2 = a2 / ||a2||
r3 = r1 x r2
t = a3 / sqrt(||a1||*||a2||)
Проблема в том, что это не работает в большинстве случаев. Чтобы проверить мои результаты, я сравнил R и t с результатами, полученными методом OpenCV solvePnP (используя следующие трехмерные точки [0,0,0] [0,1,0] [1,0,0] [1,1, 0]).
Так как я отображаю куб таким же образом, я заметил, что в каждом случае solvePnP дает правильные результаты, а поза, полученная из гомографии, в основном неправильна.
В теории, поскольку мои точки копланарны, можно вычислить позу из гомографии, но я не смог найти правильный способ вычислить позу из H.
Любые идеи о том, что я делаю неправильно?
Изменить после попытки использования метода @Jav_Rock
Привет, Jav_Rock, большое спасибо за ваш ответ, я пробовал ваш подход (и многие другие), который кажется более или менее ОК. Тем не менее, я все еще испытываю некоторые проблемы при вычислении позы на основе 4 компланарных точек. Чтобы проверить результаты, я сравниваю их с результатами solvePnP (что будет намного лучше из-за подхода минимизации ошибки повторной оценки).
Вот пример:
- Желтый куб: Решите PNP
- Технология Black Cube: Jav_Rock
- Cyan (и Purple) куб (ы): некоторые другие методы с учетом тех же самых результатов
Как вы можете видеть, черный куб более или менее нормальный, но, похоже, не пропорционален, хотя векторы кажутся ортонормированными.
EDIT2: Я нормализовал v3 после его вычисления (для обеспечения ортонормированности), и, похоже, он также решает некоторые проблемы.