Есть ли алгоритм для преобразования 2D-видео в 3D-видео (для просмотра в очках)?
(А-ля превращение Аватара в Аватар для 3D- опыта IMAX.) Или, по крайней мере, превратите его в видео, подготовленное для ощущения некоторого трехмерного просмотра, используя его а-ля:
(источник: 3dglassesonline.com)
или же
(источник: 3dglassesonline.com)
Вероятно, вам следует понять разницу между поляризационными стеклами и красными/синими стеклами. Эффект красных/синих очков 3D прост. Вам просто нужно сделать снимок примерно на пару дюймов (вроде как выложены глаза) и наложить каждое изображение поверх другого. Существует учебник о том, как это сделать в Создание изображений Anaglyph в Adobe Photoshop.
Что касается эффекта поляризационных стекол, это немного сложнее. Если вы идете в кинотеатр и смотрите 3D-фильм с поляризационными очками, вы видите истинное 3D. Он работает, имея два проектора. Один проектор проецирует фильм в один тип поляризации, а второй проектор проецирует фильм на другой тип поляризации. Изображения накладываются прямо друг на друга, поэтому, если вы носите очки 3D-поляризации, они отображаются в 3D.
Это невозможно сделать с помощью телевизора или монитора компьютера. Вашему телевизору или монитору придется проецировать два изображения одновременно. Из-за популярности 3D сейчас, хотя на рынке появляются 3D-телевизоры и мониторы, которые не проектируют два изображения, а отображают 3D. Вот как они работают:
Обычный экран компьютера или телевизор обновляется с частотой 60 Гц. Это означает, что 60 раз за одну секунду изображение, которое вы видите, обновляется. Поскольку это так быстро, человеческий глаз не видит мерцания. 3D-телевизоры и мониторы обновляются при 120 Гц. Поляризационные изображения являются развязками со скоростью 120 раз в секунду, но поскольку их два, оно появляется в 60 раз в секунду, что и создает 3D-эффект.
Надеюсь, это поможет вам немного понять.
Чтобы ответить на ваш вопрос, да, вы можете создавать 3D-видео, но для просмотра вам понадобится 3D-монитор и 3D-телевизор.
Ну, у Стэнфорда есть алгоритм преобразования 2D-фотографий в 3D-модели. Я предполагаю, что с фильмами это должно быть еще проще, потому что тогда у вас есть несколько фотографий вместо одного, поэтому вы можете извлекать гораздо больше информации о глубине, сравнивая соседние кадры.
Возможно, результаты никогда не будут такими же хорошими, как при рендеринге/съемке фильма в 3D, чтобы начать с.
Нет - 3D-видео требует наличия дополнительной информации (глубины), которая просто не содержится в 2D-видео.
Если у вас есть 2D-рендеринг sceene (например, в Toy Story), то его довольно легко создать 3D-фильм - вы просто изменяете угол обзора sceene и повторно отображаете.
Он не может работать вообще по очень простой причине: предположим, что у вас есть сцена с окном в стене с изображением пляжа, а кроме того, у вас есть фотография, показывающая окно в стене с изображением пляжа. Как алгоритм может различать два? Как вы можете определить, что такое реальность с глубиной и что такое плоская фотография?
Не совсем. Должен ли алгоритм каким-то образом понять содержание сцены и экстраполировать информацию о глубине? Помните, что 3D-видео требуется информация о глубине. В противном случае нет способа узнать, сколько должно компенсировать две части кадра.
Вероятно, вы могли бы попробовать его, назначив различные глубины различным степеням вне фокуса, но я сомневаюсь, что что-то полезное выйдет.
Нет отдельного алгоритма для каждого, но да, это возможно. Это очень тяжело. Сейчас есть люди, которые работают над этой проблемой. Эти алгоритмы очень сложны для написания, они не всегда работают правильно, и для любого полного решения потребуется большая вычислительная мощность. Любое решение сначала будет отключено (вместо реального времени).
3D-восприятие не связано так близко к стереооптике, как вы могли бы поверить. Если вы считаете, что вам нужно два глаза, чтобы увидеть 3D, попробуйте прогуляться с помощью повязки. Все будет хорошо. Существует (небольшое) количество программ, включая некоторые коммерческие пакеты программного обеспечения, которые создают 3D-модели из наборов 2D-изображений без стереокамеры. Некоторые из них работают в режиме онлайн, строя более подробную модель, поскольку больше это видно.
Просто подумав об этом, я могу придумать некоторые проблемы, с которыми вы столкнулись, в частности, с фильмами. Например, я мог представить, что маты оказываются на некорректной глубине. Видео со спецэффектами от программного обеспечения, такого как Apple Motion, может закончиться странными артефактами.
В этом году CES показать, Toshiba представил дисплей сотового телевизора, и они утверждают, что он способен преобразовывать 2D-ТВ-сигналы в 3D. Я не знаю, создает ли он хороший результат или какой алгоритм они используют, но если они верны, для этого должен быть алгоритм.
Но, к сожалению, я не знаю, как это можно сделать.
Существуют существующие алгоритмы для извлечения 3D-фигур из 2D-изображений, здесь или здесь, например. Вы можете извлекать фигуры из каждого кадра видео и даже использовать несколько кадров для лучшего понимания фигур, обнаруживая их движение.
Однако вероятность того, что результаты будут нигде не близки к стандартному качеству контента 3D-фильма.
Было проведено некоторое исследование на этом месте, где я когда-то работал (хотя я вообще не был связан с ним). Эта статья, Автоматическое извлечение 3D-моделей из воздушной видеопоследовательности может оказаться полезным.
Может быть, будет алгоритм для эмуляции стереоскопических представлений, но он не может быть одинаковым.
Причина довольно проста. В 2D-видео не только отсутствует информация о глубине (чего недостаточно для получения стереоскопического видео), но и в ней отсутствуют скрытые поверхности, которые будут видны с другой точки зрения.
Каждый может подумать, что информация о глубине может быть экстраполирована из имеющейся информации, и это верно. Но недостающая информация не может быть настолько точной для хорошего стереоскопического эффекта.
Кроме того, я слышал о системе, которая coudl извлекает точные 3D-модели из 8 (восьми!) камер, указывающих на одну и ту же цель. Это настолько точно, чтобы правильно имитировать движения одежды. Однако это делается для обработки 8 (восьми!) 2D-видео. Как можно добиться такого же результата только с одним 2D-видео?
Достижение желаемого результата зависит в основном от доступности информации, и в этом случае (IMHO) информации недостаточно. Несмотря на это, можно было бы попытаться эмулировать стереоскопический эффект от 2D-видео, но по существу ему нужна тяжелая работа, длительная обработка и следствие - результат низкого качества, уважающий оригинальный стереовосходный видеоролик.
Я хотел бы помнить, что 3D-вид создается нашим мозгом. Глаза могут захватывать только 2D-изображения, и наш мозг, обрабатывая два изображения, может генерировать представление глубины видимых объектов.