Как провести коррекцию перспективы в Matlab по известным внутренним и внешним параметрам?

Я использую Matlab для калибровки камеры, используя Jean- Набор инструментов для калибровки камеры Yves Bouget. У меня есть вся камера параметров из процедуры калибровки. Когда я использую новое изображение, а не в наборе калибровки я могу получить его уравнение преобразования, например. Xc = R * X + T, где X - трехмерная точка калибровочной установки (планарная) в мировой кадр, а Xc - его координаты в кадре камеры. В других слова, у меня есть все (как внешние, так и внутренние параметры).

Что я хочу сделать, это выполнить коррекцию перспективы на этом изображении т.е. я хочу, чтобы он удалил любую перспективу и увидел калибровочную установку неискаженный (его шахматная доска).

В новом наборе инструментов ComputerLab для Matlab есть объект, который выполняет преобразование перспективы на образ, учитывая матрицу 3X3 H. Проблема заключается в том, что я не могу вычислить эту матрицы из известных внутренних и внешних параметров!

Ответ 1

Для всех, кто до сих пор интересуется этим после стольких месяцев, мне удалось получить правильную матрицу гомографии, используя код Kovesi (http://www.csse.uwa.edu.au/~pk/research/matlabfns), и особенно функция homography2d.m. Однако вам понадобятся пиксельные значения четырех углов буровой установки. Если камера устойчива, то вам нужно будет сделать это один раз. См. Пример кода ниже:

%get corner pixel coords from base image
p1=[33;150;1];
p2=[316;136;1];
p3=[274;22;1];
p4=[63;34;1];
por=[p1 p2 p3 p4];
por=[0 1 0;1 0 0;0 0 1]*por;    %swap x-y <--------------------

%calculate target image coordinates in world frame
% rig is 9x7 (X,Y) with 27.5mm box edges
XXw=[[0;0;0] [0;27.5*9;0] [27.5*7;27.5*9;0] [27.5*7;0;0]];
Rtarget=[0 1 0;1 0 0;0 0 -1]; %Rotation matrix of target camera (vertical pose)
XXc=Rtarget*XXw+Tc_ext*ones(1,4); %go from world frame to camera frame
xn=XXc./[XXc(3,:);XXc(3,:);XXc(3,:)]; %calculate normalized coords
xpp=KK*xn;  %calculate target pixel coords

% get homography matrix from original to target image
HH=homography2d(por,xpp);
%do perspective transformation to validate homography
pnew=HH*por./[HH(3,:)*por;HH(3,:)*por;HH(3,:)*por];

Это должно сделать трюк. Обратите внимание, что Matlab определяет ось x в изображении и индекс строк, а y - столбцы. Таким образом, в уравнениях нужно поменять x-y (как вы, вероятно, увидите в приведенном выше коде). Кроме того, мне удалось вычислить матрицу гомографии только по параметрам, но результат был слегка выключен (возможно, ошибки округления в панели инструментов калибровки). Лучший способ сделать это - это выше.

Если вы хотите использовать только параметры камеры (то есть, не используйте код Ковези), то матрица гомографии H = KK * Rmat * inv_KK. В этом случае код,

% corner coords in pixels
p1=[33;150;1];
p2=[316;136;1];
p3=[274;22;1];
p4=[63;34;1];
pmat=[p1 p2 p3 p4];
pmat=[0 1 0;1 0 0;0 0 1]*pmat; %swap x-y

R=[0 1 0;1 0 0;0 0 1];  %rotation matrix of final camera pose
Rmat=Rc_ext'*R;  %rotation from original pose to final pose
H=KK*Rmat*inv_KK; %homography matrix
pnew=H*pmat./[H(3,:)*pmat;H(3,:)*pmat;H(3,:)*pmat]; %do perspective transformation

H2=[0 1 0;-1 0 0;0 0 1]*H;  %swap x-y in the homography matrix to apply in image

Ответ 2

Подход 1: В Camera Calibration Toolbox вы должны заметить, что в вашем рабочем пространстве есть H-матрица для каждого изображения вашей шахматной доски. Я еще не знаком с программным обеспечением для компьютерного зрения, но, возможно, это матрица, необходимая для вашей функции. Кажется, что H вычисляется так:

KK = [fc(1) fc(1)*alpha_c cc(1);0 fc(2) cc(2); 0 0 1];
H = KK * [R(:,1) R(:,2) Tc]; % where R is your extrinsic rotation matrix and Tc the translation matrix
H = H / H(3,3);

Подход 2: Если функция компьютерного зрения не работает для вас, то для поиска предполагаемой проекции изображения я использовал функцию interp2, например так:

[X, Y] = meshgrid(0:size(I,2)-1, 0:size(I,1)-1);
im_coord = [X(:), Y(:), ones(prod(size(I_1)))]';
% Insert projection here for X and Y to XI and YI
ZI = interp2(X,Y,Z,XI,YI);

Раньше я использовал перспективные прогнозы по проекту, и я считаю, что вам нужно использовать однородные координаты. Я думаю, что я нашел эту статью в википедии весьма полезной.