Каков наилучший метод обнаружения объектов в движущемся видео с низким разрешением?

Я ищу самый быстрый и эффективный метод обнаружения объекта в движущемся видео. Что нужно отметить об этом видео: это очень зернистое и низкое разрешение, одновременно перемещаются как фон, так и передний план.

Примечание. Я пытаюсь обнаружить движущийся грузовик на дороге в движущемся видео.

Методы, которые я пробовал:

Обучение каскаду Хаар - я попытался обучить классификаторов идентификации объекта, взяв несколько изображений желаемого объекта. Это оказалось причиной многих ложных детектировок или вообще не обнаруживает (желаемый объект никогда не был обнаружен). Я использовал около 100 положительных изображений и 4000 негативов.

SIFT и SURF Keypoints. При попытке использовать любой из этих методов, основанный на функциях, я обнаружил, что объект, который я хотел обнаружить, был слишком низким по разрешению, поэтому недостаточно было возможностей для точного обнаружения, (Объект не был обнаружен)

Соответствие шаблонов - это, наверное, лучший метод, который я пробовал. Это самый точный, хотя самый взломанный из всех. Я могу обнаружить объект для одного конкретного видео, используя шаблон, обрезанный из видео. Тем не менее, нет гарантированной точности, потому что все, что известно, является лучшим совпадением для каждого кадра, анализ по процентному шаблону не соответствует кадру. В принципе, он работает только в том случае, если объект всегда находится в видео, иначе он создаст ложное обнаружение.

Итак, это те самые большие 3 метода, которые я пробовал, и все они потерпели неудачу. То, что лучше всего работает, похоже на сопоставление шаблонов, но с инвариантностью по шкале и повороту (что привело меня к попытке SIFT/SURF), но я не знаю, как изменить функцию соответствия шаблонов.

Есть ли у кого-нибудь предложения, как наилучшим образом выполнить эту задачу?

Ответ 1

Применить оптический поток к изображению, а затем сегментировать его на основе поля потока. Фоновый поток сильно отличается от потока "объекта" (который в основном расходится или сходится в зависимости от того, движется он или нет от вас, с некоторым боковым компонентом).

Вот старый проект, который работал таким образом:

http://users.fmrib.ox.ac.uk/~steve/asset/index.html

Ответ 2

В этом документе для обнаружения транспортных средств используется фильтр банка Габора для обнаружения низкого уровня, а затем используется ответ для создания пространство функций, в котором он обучает классификатор SVM.

Этот метод, кажется, работает хорошо и, по крайней мере, инвариантен по шкале. Я не уверен в ротации, хотя.

Ответ 3

Не зная ваше приложение, мое первоначальное впечатление нормализованная кросс-корреляция, тем более, что я помню, что видел чисто оптический кросс-коррелятор, который отслеживание транспортного средства в качестве примера приложения. (Отслеживание транспортного средства по мере его прохождения с использованием только оптических компонентов и изображения стороны транспортного средства - я бы хотел найти ссылку.) Это похоже (если не идентично) на "сопоставление шаблонов", которое вы говорите как произведение, но это не будет работать, если изображения будут повернуты, как вы знаете.

Однако существует связанный метод, основанный на лог-полярных координатах, который будет работать независимо от вращения, масштаба, сдвига и перевода.

Я предполагаю, что это также позволит отслеживать, что объект также покинул сцену видео, поскольку максимальная корреляция будет уменьшаться.

Ответ 4

Как мы с низким разрешением говорим? Не могли бы вы также рассказать об объекте? Это особый цвет? У него есть образец? Ответы влияют на то, что вы должны использовать.

Кроме того, я мог бы ошибочно читать инструкцию по сопоставлению с шаблоном, но похоже, что вы перенапрягаете ее (путем тестирования на том же видео вы извлекли объект из?).

Ответ 5

A Haar Cascade потребует значительных учебных данных с вашей стороны и будет плохой для любых корректировок в ориентации.

Лучше всего совместить сопоставление шаблонов с алгоритмом, аналогичным camshift в opencv (5,7MB PDF), наряду с вероятная модель (вам придется это выяснить), находится ли грузовик по-прежнему на изображении.