Совместите два изображения в OpenCV

У меня есть два изображения (см. ниже). Эти изображения представляют контуры пары кабелей и были захвачены с использованием трехмерной триангуляции на основе лазера. Первое изображение захватывается левой камерой, а второе - правой камерой. Как видно, эти изображения частично перекрываются. Левая часть на первом изображении частично соответствует левой части на втором изображении. То же самое верно для правой части. Я хочу объединить эти два изображения в одно изображение, чтобы соответствующие части перекрывались.

Рядом с этими изображениями у меня также есть следующая информация:

  • Графическая матрица 3х3 H левой и правой камеры
  • Внутренние параметры камеры K левой и правой камеры
  • Коэффициенты искажения D (из них 9) левой и правой камеры
  • Смещение O левой и правой камеры

Эти данные указаны ниже.

В Halcon я попытался сделать это с помощью мозаики:

  • Извлечение характеристических точек в обоих изображениях с помощью Harris
  • Вычислить матрицу проективных преобразований из одного изображения в другое с помощью Ransac.
  • Примените найденную матрицу проективных преобразований.

Однако этот подход не был успешным. Я ищу аналогичный подход в OpenCV или Halcon или подход (также в OpenCV или Halcon), который использует данные калибровки, которые у меня есть, такие как матрица гомографии и матрица камеры.

Просьба предоставить подробные объяснения, если это возможно, поскольку я только начинаю с Machine Vision.

введите описание изображения здесь введите описание изображения здесь

Hl := [0.00175186,   4.73083e-05, -0.00108921,
       0.000780817, -0.00145615,   0.00118631,
       0.0534139,   -0.030823,     1.0        ]
Kl := [4578.21,   -5.05144, 759.766,
       0.0,     4576.87,    568.223,
       0.0,        0.0,       1.0   ]
Dl := [-0.12573, 0.0533453, -0.575361, -0.0130272, 0.00348033, 0.00852617, -0.0271142, 0.0176706, -0.00575124]
Ol := [0.0, 150.0]

Hr := [0.00173883, -2.94597e-05, 0.00109873,
      -0.00077676, -0.0014687,   0.00121393,
      -0.0653829,  -0.0443924,   1.0        ]
Kr := [4591.96,  -4.55317, 1284.74,
       0.0,    4591.19,     534.317,
       0.0,       0.0,        1.0   ]
Dr := [-0.110751, -0.349716, 3.86535, 0.017393, -0.00364957, -0.00633656, 0.0338833, -0.0212222, 0.00543694]
Or := [0.0, 100.0]

Ответ 1

Соответствие шаблонов могло бы сделать трюк здесь. Я немного поиграл с ним, надеюсь, вы найдете его ухоженным (код ниже):

введите описание изображения здесь

MAX_DISPARITY = 100;
imgL=double(imread('https://i.stack.imgur.com/y5tOJ.png'));
imgR=double(imread('https://i.stack.imgur.com/L1EQy.png'));
imgRfused = imgR;
minmax = @(v) [min(v) max(v)];
[imgLbw,n]=bwlabel(imgL);
nBlobs=2;
a=arrayfun(@(i) sum(imgLbw(:)==i),1:n);
[~,indx]=sort(a,'descend');
imgLbwC=bsxfun(@eq,imgLbw,permute(indx(1:nBlobs),[3 1 2]));
imgLbwC =bsxfun(@times,imgLbwC,2.^permute(0:nBlobs-1,[3 1 2]));
imgLbwC  = sum(imgLbwC ,3);

src = zeros(nBlobs,4);
dst = zeros(nBlobs,4);

for i=1:nBlobs
    [y,x]=find(imgLbwC==i);
    mmx = minmax(x);
    mmy = minmax(y);
    ker = imgL(mmy(1):mmy(2),mmx(1):mmx(2));

    [yg,xg]=ndgrid(mmy(1):mmy(2),mmx(1):mmx(2));
    src(i,:)=[mmx(1) mmy(1) fliplr(size(ker))];


    imgR_ = imgR(:,mmx(1)-MAX_DISPARITY:mmx(2)+MAX_DISPARITY);
    c=conv2(imgR_ ,rot90(double(ker),2),'valid')./sqrt(conv2(imgR_.^2,ones(size(ker)),'valid'));
    [yy,xx]=find(c==max(c(:)),1);
    dst(i,:)=[src(i,1:2)+[xx yy-mmy(1)]+[-MAX_DISPARITY,0] fliplr(size(ker))];

    imgRfused(dst(i,2):dst(i,2)+dst(i,4),dst(i,1):dst(i,1)+dst(i,3)) = max(imgRfused(dst(i,2):dst(i,2)+dst(i,4),dst(i,1):dst(i,1)+dst(i,3)),imgL(src(i,2):src(i,2)+src(i,4),src(i,1):src(i,1)+src(i,3)));
end
imagesc(imgRfused);
axis image
colormap gray