OpenCV groupRectangles - получение сгруппированных и негруппированных прямоугольников

Я использую OpenCV и хочу группировать прямоугольники с существенным перекрытием. Я попытался использовать groupRectangles для этого, который принимает групповой пороговый аргумент. С порогом 0 он вообще не группирует и с порогом 1 возвращает только прямоугольники, которые были результатом как минимум 2 прямоугольников. Например, учитывая прямоугольники слева на изображении ниже, вы в конечном итоге с двумя прямоугольниками справа:

То, что я хотел бы получить, - это 3 прямоугольника. 2 справа на изображении выше, плюс прямоугольник в правом верхнем углу изображения влево, который не перекрывается с другими прямоугольниками. Какой лучший способ достичь этого?

Ответ 1

Решение, с которым я столкнулся, состояло в том, чтобы дублировать все начальные прямоугольники перед вызовом groupRectangles. Таким образом, каждый прямоугольник ввода будет сгруппирован по крайней мере с одним другим прямоугольником и появится на выходе:

int size = rects.size();
for( int i = 0; i < size; i++ )
{
    rects.push_back(Rect(rects[i]));
}
groupRectangles(rects, 1, 0.2);

Ответ 2

Выбрав groupRectangles() в исходном коде opencv-3.3.0:

    if( groupThreshold <= 0 || rectList.empty() )
    {
        // ......
        return;
    }

Я видел, что если groupThreshold установлено меньше или равно 0, функция просто вернется без какой-либо группировки.

С другой стороны, следующий код удалил все прямоугольники, которые не более чем groupThreshold.

    // filter out rectangles which don't have enough similar rectangles
    if( n1 <= groupThreshold )
        continue;

Это объясняет, почему с groupThreshold = 1 на выходе выводятся только прямоугольники с не менее чем двумя перекрытиями.

Одним из возможных решений может быть изменение исходного кода, показанного выше (замена n1 <= groupThreshold на n1 < groupThreshold) и повторная компиляция OpenCV.

Ответ 3

Немного поздно для вечеринки, однако "дублирующее" решение не помогло мне. У меня также была другая проблема, когда объединенные прямоугольники перекрывались бы и должны были бы быть объединены.

Итак, я придумал решение overkill (может потребоваться компилятор С++ 14). Вот пример использования:

std::vector<cv::Rect> rectangles, test1, test2, test3;

rectangles.push_back(cv::Rect(cv::Point(5, 5), cv::Point(15, 15)));
rectangles.push_back(cv::Rect(cv::Point(14, 14), cv::Point(26, 26)));
rectangles.push_back(cv::Rect(cv::Point(24, 24), cv::Point(36, 36)));

rectangles.push_back(cv::Rect(cv::Point(37, 20), cv::Point(40, 40)));
rectangles.push_back(cv::Rect(cv::Point(20, 37), cv::Point(40, 40)));

test1 = rectangles;
test2 = rectangles;
test3 = rectangles;

//Output format: {Rect(x, y, width, height), ...}

//Merge once
mergeRectangles(test1);
//Output rectangles: test1 = {Rect(5, 5, 31, 31), Rect(20, 20, 20, 20)} 

//Merge until there are no rectangles to merge
mergeRectangles(test2, true);
//Output rectangles: test2 = {Rect(5, 5, 35, 35)} 

//Override default merge (intersection) function to merge all rectangles
mergeRectangles(test3, false, [](const cv::Rect& r1, const cv::Rect& r2) {
    return true;
});
//Output rectangles: test3 = {Rect(5, 5, 35, 35)}

Функции:

void mergeRectangles(std::vector<cv::Rect>& rectangles, bool recursiveMerge = false, std::function<bool(const cv::Rect& r1, const cv::Rect& r2)> mergeFn = nullptr) {
    static auto defaultFn = [](const cv::Rect& r1, const cv::Rect& r2) {
        return (r1.x < (r2.x + r2.width) && (r1.x + r1.width) > r2.x && r1.y < (r2.y + r2.height) && (r1.y + r1.height) > r2.y);
    };

    static auto innerMerger = [](std::vector<cv::Rect>& rectangles, std::function<bool(const cv::Rect& r1, const cv::Rect& r2)>& mergeFn) {
        std::vector<std::vector<std::vector<cv::Rect>::const_iterator>> groups;
        std::vector<cv::Rect> mergedRectangles;
        bool merged = false;

        static auto findIterator = [&](std::vector<cv::Rect>::const_iterator& iteratorToFind) {
            for (auto groupIterator = groups.begin(); groupIterator != groups.end(); ++groupIterator) {
                auto foundIterator = std::find(groupIterator->begin(), groupIterator->end(), iteratorToFind);
                if (foundIterator != groupIterator->end()) {
                    return groupIterator;
                }
            }
            return groups.end();
        };

        for (auto rect1_iterator = rectangles.begin(); rect1_iterator != rectangles.end(); ++rect1_iterator) {
            auto groupIterator = findIterator(rect1_iterator);

            if (groupIterator == groups.end()) {
                groups.push_back({rect1_iterator});
                groupIterator = groups.end() - 1;
            }

            for (auto rect2_iterator = rect1_iterator + 1; rect2_iterator != rectangles.end(); ++rect2_iterator) {
                if (mergeFn(*rect1_iterator, *rect2_iterator)) {
                    groupIterator->push_back(rect2_iterator);
                    merged = true;
                }
            }
        }

        for (auto groupIterator = groups.begin(); groupIterator != groups.end(); ++groupIterator) {
            auto groupElement = groupIterator->begin();

            int x1 = (*groupElement)->x;
            int x2 = (*groupElement)->x + (*groupElement)->width;
            int y1 = (*groupElement)->y;
            int y2 = (*groupElement)->y + (*groupElement)->height;

            while (++groupElement != groupIterator->end()) {
                if (x1 > (*groupElement)->x)
                    x1 = (*groupElement)->x;
                if (x2 < (*groupElement)->x + (*groupElement)->width)
                    x2 = (*groupElement)->x + (*groupElement)->width;
                if (y1 >(*groupElement)->y)
                    y1 = (*groupElement)->y;
                if (y2 < (*groupElement)->y + (*groupElement)->height)
                    y2 = (*groupElement)->y + (*groupElement)->height;
            }

            mergedRectangles.push_back(cv::Rect(cv::Point(x1, y1), cv::Point(x2, y2)));
        }

        rectangles = mergedRectangles;
        return merged;
    };

    if (!mergeFn)
        mergeFn = defaultFn;

    while (innerMerger(rectangles, mergeFn) && recursiveMerge);
}