В то время как трехмерные фильмы по-прежнему пользуются популярностью в театрах , они еще не сделали скачок в наших домах - и причина лежит в основном на хребте вашего носа.
Вы когда-нибудь задумывались, почему мы носим эти надоедливые трехмерные очки? Театры обычно либо используют специальный поляризованный свет, либо создают пару изображений, которые создают имитируемое ощущение глубины. Чтобы на самом деле получить трехмерный эффект, вы должны носить очки, которые оказались слишком неудобными для создания большой части рынка для 3-D телевизоров.
Но исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) стремятся изменить это с помощью «Home3D» - новой системы, которая позволяет пользователям смотреть 3D-фильмы дома без необходимости носить специальные очки.
Home3D преобразует традиционные трехмерные фильмы из стерео в формат, совместимый с так называемыми «автомнописными дисплеями». По словам постдока Петра Келнхофера, эти дисплеи быстро улучшаются в разрешении и демонстрируют большой потенциал для систем домашнего кинотеатра.
«Диски Automultiscopic не так популярны, как могли бы быть, потому что они не могут фактически воспроизводить стереоформаты, которые традиционные трехмерные фильмы используют в театрах», - говорит Келнхофер, который был ведущим автором статьи о Home3D, которую он представит На конференции компьютерной графики SIGGRAPH в этом месяце в Лос-Анджелесе. «Преобразуя существующие трехмерные фильмы в этот формат, наша система помогает открыть двери для размещения трехмерных телевизоров в домах людей».
Home3D может работать в режиме реального времени на графическом процессоре (GPU), то есть он может работать в такой системе, как Xbox или PlayStation. Команда говорит, что в будущем Home3D может принять форму чипа, который можно было бы поместить в телевизоры или медиаплееры, такие как Chromecast от Google.
Алгоритмы команды для Home3D также позволяют пользователям настраивать просмотр, набирать или понижать желаемый уровень 3-D для любого фильма. В исследовании пользователя, в котором участвовали клипы из фильмов, включая «Мстители» и «Big Buck Bunny», участники оценивали видео Home3D как более высокое качество в 60 процентов случаев по сравнению с трехмерными видео, преобразованными с другими подходами.
Келлнхофер написал статью с профессорами Массачусетского технологического института Фредо Дурандом, Уильямом Фриманом и Войцехом Матусиком, а также постдоком Питчайей Ситти-Аморном, бывшим постдоком CSAIL Петром Дидыком, а также бывшим магистром-учеником Шу-По Ванг'14 MNG '16. Дидик сейчас находится в Саарландском университете и Институте Макса Планка в Германии.
Как это работает
Home3D преобразует 3-D фильмы с «стереоскопического» на «многопользовательское» видео, а это означает, что вместо того, чтобы показывать только пару изображений, на экране отображаются три или более изображений, которые имитируют то, как выглядит сцена из разных мест. В результате каждый глаз воспринимает то, что он увидит, находясь в определенном месте внутри сцены. Это позволяет мозгу естественным образом вычислять глубину изображения.
Существующие методы преобразования трехмерных фильмов имеют серьезные ограничения. Так называемый «фазовый рендеринг» является быстрым, высоким разрешением и в значительной степени точным, но он плохо работает, когда изображения в левом и правом глазу слишком отличаются друг от друга. Между тем, «глубокий рендеринг на основе изображений» намного лучше справляется с этими различиями, но он должен работать с низким разрешением, которое иногда может потерять мелкие детали. (Одно из предположений заключается в том, что каждый пиксель имеет только одно значение глубины, что означает, что он не может воспроизводить эффекты, такие как прозрачность и размытость изображения.)
Ключевым новшеством команды CSAIL является новый алгоритм, который объединяет элементы этих двух методов. Kellnhofer говорит, что алгоритм может обрабатывать большие различия влево / вправо, чем фазовые подходы, а также решать такие вопросы, как глубина фокуса и отражения, которые могут быть сложными для подходов, основанных на глубине изображения.
«Исследователи использовали несколько умных алгоритмических трюков, чтобы уменьшить множество артефактов, от которых пострадали предыдущие алгоритмы, и они заставили его работать в режиме реального времени», - говорит Гордон Ветштейн, доцент электротехники в Стэнфордском университете, который не участвовал в исследовании. «Это первая статья, которая создает чрезвычайно качественный многопользовательский контент из существующих стереоскопических кадров».
Дидик говорит, что современные телевизоры настолько высоки, что трудно заметить большую разницу для контента с 2-мя кадрами.
«Но использование их для 3D-очков без очков - убедительное приложение, потому что оно отлично использует дополнительные пиксели, которые могут предоставить эти телевизоры», - говорит Дидык.
Одним из недостатков преобразования традиционного трехмерного видео в многопользовательские телевизоры является то, что ограниченное разрешение может привести к появлению изображений с дубликатами вблизи или вокруг них - явление, называемое «ореолом». Команда надеется еще больше отточить алгоритм, чтобы минимизировать ореолы, Но пока говорят, что они рады, что их система конверсии продемонстрировала потенциал для переноса существующего трехмерного фильма за пределы мультиплекса.
«Беспроблемное трехмерное телевидение часто рассматривается как проблема с курицей и яйцом», - говорит Ветцштейн. «Без контента, кому нужна хорошая трехмерная телевизионная технология? Без технологии, кто будет производить высококачественный контент? Это исследование частично решает проблему нехватки контента, что очень интересно ».
