Что такое пленоптические камеры

Пленоптические камеры: новая эра фотографии

Оснастив конструкцию цифрового фотоаппарата дополнительным оптическим элементом, ученые из Стэнфордского университета реализовали уникальную возможность: настройку фокусировки теперь можно осуществлять программными средствами уже после съемки кадра. Стоит ли говорить, что это изобретение способно совершить настоящую революцию в фотографии, перевернув привычные представления о возможностях съемочной техники.

ак известно, оптическая система фотокамер традиционной конструкции — как пленочных, так и цифровых — позволяет выбрать для каждого снимка лишь одну точку фокусировки. Стоит ошибиться с настройкой фокусировки, и объект на снимке получится нерезким (исключение составляют лишь аппараты, оснащенные гиперфокальными объективами). Исправить подобную оплошность можно лишь путем повторной съемки кадра, однако возможность для этого есть далеко не всегда.

Другое существенное ограничение фотокамер традиционной конструкции — прямая зависимость глубины резко изображаемого пространства (ГРИП) от величины диафрагмы, установленной в момент съемки. Чем больше открыта диафрагма, тем больше света попадает на электронный сенсор, что позволяет использовать более короткую выдержку (что критично при съемке движущихся объектов) и/или устанавливать меньшее значение светочувствительности для минимизации цифрового шума и лучшей проработки теней на получаемом изображении. В то же время по мере открытия диафрагмы происходит уменьшение ГРИП, что далеко не всегда приемлемо с точки зрения стоящей перед фотографом задачи.

Схема оптического тракта пленоптической камеры

Таким образом, фотограф вынужден искать компромисс между величиной диафрагмы и желаемой ГРИП, что в ряде случаев (например, в условиях недостаточной освещенности или при съемке быстро движущихся объектов) неизбежно приводит к ухудшению технического качества снимков, а иногда и к невозможности выполнения поставленной творческой задачи.

Можно ли преодолеть эти ограничения? С появлением первых цифровых фотоаппаратов появилась надежда на то, что когда-нибудь на этот вопрос можно будет получить утвердительный ответ. Так, в 1992 году ученые Эделсон (Adelson) и Ван (Wang) опубликовали работу «Single lens stereo with a plenoptic camera», в которой в том числе была описана конструкция так называемой пленоптической цифровой фотокамеры. В этой работе были также описаны методы математической обработки получаемых пленоптической камерой снимков, позволяющие изменять параметры фокусировки уже отснятых изображений.

Для реализации такой возможности Эделсон и Ван предложили дополнить конструкцию традиционной цифровой фотокамеры массивом микролинз, расположенным между основным объективом и светочувствительным сенсором. Массив микролинз располагается в фокальной плоскости основного объектива. Каждая из микролинз формирует на небольшом участке сенсора субкадр, соответствующий небольшому участку фотографируемого полного кадра, проецируемого объективом камеры. Посредством математической обработки пикселов субкадра можно получить данные о расстоянии до соответствующего участка сфотографированной сцены. А это, в свою очередь, позволяет путем обработки исходного снимка по определенному алгоритму не только изменять положение точки фокусировки, но и настраивать ГРИП по собственному желанию.

Прототип портативной пленоптической камеры, созданный на базе фотоаппарата Contax 645 и цифрового задника Megavision FB4040

Принципы, изложенные в упомянутой работе Эделсона и Вана, были использованы исследователями Стэнфордского университета при создании прототипа портативной пленоптической камеры. Основой для данного прототипа послужили среднеформатная (60×60 мм) камера Contax 645 и цифровой задник Megavision FB4040, оснащенный светочувствительным сенсором Kodak KAF-16802CE. Разрешение этого сенсора составляет 4000×4000 пикселов, шаг пикселов — 9 мкм. Конструкцию задника ученые дополнили массивом из 87 616 микролинз (296 по горизонтали и 296 по вертикали), закрепленным при помощи специального держателя непосредственно перед светочувствительным сенсором. Ширина каждой из микролинз составляет 125 мкм, фокусное расстояние — 500 мкм, относительное отверстие — f/4. Для получения экспериментальных снимков на прототип устанавливали объективы с фиксированным фокусным расстоянием: 140 (f/2,8) и 80 мм (f/2,0).

Разрешение двумерных изображений, которые можно получить из RAW-файлов данного прототипа, эквивалентно количеству микролинз и составляет 296×296 пикселов. Размер субкадра, формируемого каждой микролинзой, — немногим менее 14Ѕ14 пикселов.

В ходе исследовательских работ было создано специальное программное обеспечение для преобразования RAW-файлов пленоптической камеры в обычные двумерные изображения. Данная программа позволяет изменять фокусировку и регулировать ГРИП получаемых на выходе изображений. Кроме того, используя подготовленные ранее теоретические разработки, исследователи реализовали на программном уровне эффективные средства для исправления аберраций объектива, компенсации виньетирования и значительного снижения уровня цифровых шумов на снимках, сделанных прототипом пленоптической камеры.

Изображения с различными настройками фокусировки, полученные путем обработки одного и того же снимка,
сделанного прототипом пленоптической камеры

Как утверждают создатели прототипа, в будущем использование пленоптической технологии цифровой фотосъемки позволит получить целый ряд важных преимуществ. Благодаря возможности эффективно подавлять артефакты аберраций объектива и виньетирования программными средствами, в таких аппаратах можно будет применять объективы более простой конструкции. А ведь известно, что объектив является весьма дорогостоящим и, пожалуй, наиболее сложным в плане изготовления узлом цифрового фотоаппарата.

Другое важное преимущество — возможность отказаться от использования сложного механизма автоматической фокусировки. Точку фокусировки и ГРИП снимка можно будет уже после съемки настроить столь же легко, как сейчас — изменить величину коррекции экспозиции и установку баланса белого при конвертации RAW-файла. Наряду с этим отсутствие механизма автоматической фокусировки позволит значительно уменьшить время между нажатием на спусковую кнопку и срабатыванием затвора.

Многие специалисты считают, что на нынешнем этапе дальнейший рост разрешающей способности сенсоров, применяемых в компактных цифровых фотоаппаратах, стал уже совершенно бессмысленным. Для подавляющего большинства задач, с которыми сталкиваются фотолюбители, вполне достаточно разрешения 4-5 мегапикелов. Кроме того, увеличение количества пикселов за счет уменьшения их физического размера приводит к росту уровня цифрового шума на получаемых снимках и в конечном счете к снижению качества фотографий. Конечно, для изготовления пленоптических камер потребуются сенсоры с очень высоким разрешением, однако, в силу особенностей аппаратов данного типа, уменьшение физического размера пикселов не влияет на уровень цифрового шума получаемых изображений.

Разработчики предполагают, что пленоптические камеры окажутся незаменимым инструментом для фотографов, занимающихся спортивной и репортажной съемкой. Возможности пленоптических камер будут весьма ценными и для ряда специфических решений, например для систем видеонаблюдения, приборов для микроскопической съемки и т.д.

На нашем CD-ROM помещены видеоиллюстрации к этой статье.

Источник

Пленоптическая камера

Пленоптическая камера (от лат. plenus , полный + др.-греч. ὀπτικός , зрительный [1] ), также камера светового поля — фотоаппарат, использующий массив микролинз для съёмки информации о световом поле сцены в 4-х измерениях. Такая (полная) информация о световом поле может использоваться для решения различных проблем компьютерной графики.

Эдельсон и Ван [2] предложили конструкцию пленоптической камеры для решения проблем совмещения изображений при стерео наложении. Для достижения эффекта массив микролинз помещается в фокальной плоскости основного объектива фотоаппарата. ПЗС-матрица находится немного позади микролинз. При использовании изображений, снятых таким образом, части снимка, находящиеся не в фокусе, могут быть детально проанализированы, и из них могут быть извлечены сведения о глубине сцены. Та же система фотоаппарата может быть использована для того, чтобы дать возможность переориентировать фокус изображения практически уже после съёмки [3] . «Обратная сторона» такой системы — низкое разрешение итогового снимка.

Содержание

Перефокусировка изображения

Команда из Стэнфордского университета использовала 16 мегапиксельную камеру с массивом из 90 000 микролинз («захват» каждой линзы — около 175 пикселей, разрешение итогового изображения составляет соответственно 90 килопикселей), чтобы продемонстрировать возможность перефокусировки снимка уже после сохранения изображения [3] .

Камера светового поля Adobe

Камера светового поля Adobe — прототип 100-мегапиксельной камеры для снимков 3D-фотографий сцены с фокусировкой при помощи 19-ти индивидуально настроенных линз. Каждая линза будет участвовать в создании 5,2-мегапиксельной части снимка сцены вокруг камеры, причём каждый из этих снимков может быть сфокусирован уже впоследствии [4] .

Применение пленоптической камеры

Пленоптические камеры отлично подходят для слежения за движущимися объектами [5] . Записи с камер безопасности, основанных на этой технологии, в случае каких-либо происшествий могут быть использованы для создания точных 3D-моделей подозреваемых [6] [источник не указан 291 день] .

Выход на рынок

В 2006 году Рен Нг (англ. Ren Ng ) — исследователь фотографии светового поля из Стэнфордского университета основал проект Lytro (первоначальное название Refocus Imaging),

чтобы к концу 2011 года создать конкурентоспособную камеру [светового поля], доступную по цене для потребителя, которая умещалась бы в кармане.

В 2011 году компания объявила о приеме заказов на разработанную ею камеру, правда, заказать ее пока могут только жители США, причём не более одного фотоаппарата в одни руки.

Источник

От мегапикселей к мегалучам

29 февраля 2012 года войдет в историю фотографии как дата революции. В этот день начались поставки Lytro — первой в мире массовой пленоптической фотокамеры, хотя сама технология придумана еще столетие назад. Александр Сергеев объясняет, почему с этим устройством мы скоро забудем, что такое ошибки фокусировки и недостаточная глубина резкости.

Пленоптическая технология, которую на совершенно законных основаниях называют 4D, позволяет делать стереокадры однообъективной камерой. Съемка ведется на максимальной диафрагме, и при этом качество снимков не страдает. Вероятнее всего, эта технология даст новый импульс выдохшейся гонке мегапикселей — точнее, мегалучей, как принято говорить в пленоптическом мире.

Новая камера, которую можно купить примерно за 400 долларов, похожа на брусок длиной 11 см и сечением 4х4 см. На переднем торце — 8-кратный зум-объектив, на заднем — сенсорный экран, на верхней грани — кнопка спуска и слайдер трансфокатора. И больше никаких органов управления. Поверните брусок к объекту съемки и нажмите кнопку. На резкость вы наведете позже, за компьютером, просто кликнув по объекту, который должен быть в фокусе.

У фотографов эта технология вызывает легкое чувство ирреальности, потому что она противоречит многолетнему опыту: если лицо не в фокусе — кадр безнадежен. Печальный факт состоит в том, что никакие чудеса Фотошопа не способны восстановить информацию, утраченную из-за промаха автофокуса, который построил изображение не точно на поверхности ПЗС-матрицы, а немного впереди или позади нее. При таком промахе каждая точка снимаемого объекта дает на светоприемнике круглое пятно. Перекрываясь, пятна от соседних точек лишают картинку четкости. Между тем свет, собранный объективом, способен формировать четкие изображения всех снимаемых предметов — но на разных расстояниях позади объектива (см. врезку «Глубина резкости»). Обычный фотосенсор — пленка или ПЗС-матрица — ставится на определенном расстоянии за объективом и регистрирует распределение освещенности по площади кадра. И как раз в этот момент большая часть переносимой световым потоком информации безвозвратно теряется. Для полного описания светового потока нужно в каждой точке кадра фиксировать не только общую яркость, но и количество света, пришедшего к ней по каждому направлению. Тогда можно, выполнив расчеты, проследить траектории лучей до тех точек, где они фокусируются, и устра нить размытость в любом месте кадра. Физики Эдвард Адельсон (Edward Adel son) и Джеймс Бреген (James Bregen) из Массачусетского технологического института (США) в 1991 году назвали такое описание светового поля пленоптической функцией (от лат. plenus — полный).

Но самое удивительное, что фотосенсор, способный фиксировать пленоптическую функцию, был придуман более века назад, в 1908 году, французским физиком Габриэлем Липпманом (Gabriel Lippmann), который, кстати, в том же году был удостоен Нобелевской премии за изобретение метода цветной фотографии, основанного на явлении интерференции. Нобелевский результат, однако, оказался непрактичным и сегодня почти забыт, а вот идея «интегральной фотографии», как называл свой подход Липпман, хотя и была фактически неприменима в его время, вновь привлекла внимание спустя 80 лет, когда получили распространение ПЗС-матрицы и мощные процессоры.

Чтобы перенести фокус в кадре, надо проследить движение лучей дальше фактического расположения сенсора/ Фото: LYTRO

Стрекоза в очках

Идея Липпмана состояла в том, чтобы поместить перед фотопластинкой решетку из микролинз. Каждая микролинза создает собственное крошечное изображение, из которых, как из пикселей, строится общий вид кадра. Но если вооружиться лупой, то обнаруживается, что каждое микроизображение показывает, каков вид входного отверстия объектива при взгляде из соответствующей точки фотопластинки. Тем самым на снимке фиксируется не только количество света, пришедшего к определенной микролинзе (ему соответствует общая яркость микроизображения), но и то, какой интенсивности световые лучи пришли от разных частей объектива (это видно по распределению яркости внутри микроизображения).

В 1991 году под руководством Адельсона был изготовлен первый прототип пленоптической камеры на основе липпмановского сенсора. В нем использовалась решетка из микролинз размером 100х100. Каждая микролинза строила на своем участке ПЗСматрицы изображение входного отверстия объектива размером 5х5 пикселей. Можно сказать, что первая в мире пленоптическая камера состояла из 10 тыс. крошечных фотоаппаратиков — авторы называют их макропикселями, — каждый с внутренним разрешением 25 пикселей.

Пленоптический сенсор напоминает фасеточный глаз стрекозы с той разницей, что у насекомых фасетки образуют шестиугольную решетку. Но в камере перед сенсором стоит объектив, работающий подобно хрусталику человеческого глаза. Получается что-то вроде стрекозы в очках — такой конструкции природа создать не смогла.

Интересно, что до идеи гибкой перефокусировки создатели первой пленоптической камеры, похоже, не додумались, а отрабатывали на ней получение 3D-снимков и определение расстояний до объектов. Принцип действия такой однообъективной стереокамеры довольно прост. Из 25 пикселей каждого макропикселя можно выбрать отдельно левые и правые и составить из них два изображения размером 100х100 точек (по числу макропикселей, то есть линз перед фотосенсором). Свет, которым сформированы эти два кадра, прошел соответственно через правый и левый края объектива. Это значит, что он дает вид из двух точек, разнесенных примерно на величину диаметра отверстия. Предъявляя эти картинки правому и левому глазу зрителя, можно добиться стереоэффекта. На практике численная обработка в камере Адельсона была несколько более сложной: она задействовала все пиксели и позволяла определять расстояния до разных частей снимаемой сцены.

Фото: MUGUR MARCULESCU

Пленоптический фронт

Революционные научно-технические идеи и решения лишь на первый взгляд кажутся появляющимися неожиданно. Если внимательно следить за событиями, то можно увидеть, что наступление на новые территории ведется широким фронтом по всему миру.

Например, компания Adobe активно исследует пленоптическую технологию. В 2009 году ею был создан прототип, в котором использовался массив из 19 цифровых фотоаппаратов, каждый разрешением 5,2 Мпикс. Система регистрировала 100 мегалучей. Все ее объективы были настроены на бесконечность, но это не мешало получать резкие 5-мегапиксельные изображения объектов на ближнем плане.

Другая разработка Adobe — массив микролинз, который можно смонтировать перед сенсором обычной цифровой зеркалки, превратив ее в пленоптическую камеру. Интересно, что для увеличения глубины перефокусировки в Adobe используют чередующиеся в шахматном порядке два типа микролинз с фокусным расстоянием, различающимся в три раза. С прошлого года эта технология уже коммерчески доступна через немецкую фирму Raytrix (www.raytrix.de), которая берется за 1,5–2 месяца переделать вашу камеру в пленоптическую со снижением эффективного разрешения всего в 4 раза. Продает она и собственные камеры на адобовском сенсоре. Цена средней в модельном ряду камеры Raytrix R11 с разрешением 11 мегалучей и 3 Мпикс составляет около 25 тыс. долларов.

В университете Сан-Фернандо-де-ла-Лагуна (Испания) разрабатывается пленоптическая видеокамера CAFADIS. Там также ведут эксперименты в области астрофотографии, где пленоптика может отчасти брать на себя функции адаптивной оптики, позволяя восстанавливать четкое изображение, невзирая на турбулентность атмосферы.

Почти неограниченная глубина резкости пленоптических систем очень полезна в микроскопии. Обычно при большом увеличении глубина резкости оказывается столь малой, что трудно даже отыскать нужный объект на оптической оси, особенно если он не лишен подвижности. А вот сделав снимок светового поля, можно спокойно изучать его по слоям. Эта технология уже применяется в микроскопах Eclipse компании Nikon.

Перефокусировка в Lytro отлично работает при полностью открытом объективе

4D-камера

Как правило, инновации реализуются в ходе сложного многоступенчатого процесса. Сначала в университетах исследуют фундаментальные принципы, потом в конструкторских бюро создают прототипы новой техники, затем наступает очередь технологов-внедренцев, которые доводят прототип до серийной модели, и наконец за дело берутся фирмы, занимающиеся маркетингом и продажами. Все эти этапы требуют своего особого профессионализма и обычно реализуются разными людьми. Однако создателю камеры Lytro Рену Нг (Yi-Ren Ng) удалось самостоятельно пройти весь этот путь от диссертации по пленоптической технологии, которую он защитил в Стэнфордском университете (выложена на сайте компании lytro.com), до запуска продаж, освещавшегося ведущими бизнес-изданиями Америки. Как тут не вспомнить других выпускников Стэнфорда — Ларри Пейджа и Сергея Брина, которые на основе своей научной разработки — алгоритма ранжирования веб-страниц Page Rank — создали самую крупную в мире интернет-компанию. Массовое внедрение пленоптической технологии может изменить мир фотографии не меньше, чем Google изменил Интернет.

Вместо привычного двумерного изображения пленоптическая камера фиксирует четырехмерное световое поле. Два измерения дает решетка микролинз, расположенных перед ПЗС-матрицей, а еще два — это сетка пикселей в фокусе каждой микролинзы, на которую отображается входное отверстие объектива. Представьте себе две координатных сетки — одну в плоскости сенсора, а другую — в плоскости объектива. Траектория светового луча задается указанием пары координат в каждой из этих плоскостей, а пленоптическая камера фиксирует его интенсивность.

Чтобы перенести фокус в кадре, например с дальнего плана на ближний, надо чисто геометрически последить движение лучей чуть дальше фактического расположения сенсора за объективом и рассчитать, какое они там построят изображение. При этом расстояния до объектов тоже определяются из обработки пленоптических данных. Поэтому на практике достаточно просто кликнуть в любом месте изображения, а дальше программное обеспечения Lytro сделает эту часть кадра максимально резкой. В принципе, можно собрать резкий по всему полю кадр из частей нескольких представлений пленоптического изображения.

Но самое парадоксальное, что перефокусировка отлично работает при полностью открытом объективе. В обычных камерах ради глубины резкости приходится уменьшать диафрагму, сокращая количество проходящего через него света, что часто затрудняет качественную съемку. С камерой Lytro этой проблемы просто не существует: в ее зум-объективе вообще нет диафрагмы — во всех положениях он имеет относительное отверстие 1:2.

Глубина резкости

Чисто теоретически идеально резкое изображение на всех расстояниях дает камера обскура, или «пинхол». По-английски pinhole — «булавочное отверстие». Пройдя через него, свет любого источника попадет в строго определенную точку на светоприемнике. Из таких точек и складывается изображение, которое будет тем резче, чем меньше диаметр отверстия.

Но уменьшая отверстие, мы сокращаем и поток света. Поэтому камера-обскура имеет очень низкую светосилу. Этим, кстати, пользуются фотографы, снимающие архитектуру в многолюдных местах. Чтобы накопить достаточно света, пинхолу нужна многоминутная экспозиция, и постоянно передвигающиеся люди просто не запечатлеваются в кадре.

Если же требуется короткая выдержка, то отверстие приходится расширять и вставлять в него собирающую линзу — объектив. Но теперь уже идеальная резкость достижима не для всех объектов, а лишь для тех, которые находятся на определенном расстоянии перед объективом — точнее, в некотором диапазоне расстояний. Этот диапазон в фотографии называют глубиной резкости.

Глубина резкости быстро сокращается с увеличением диаметра объектива. Это часто используется как художественный прием, но если диапазон глубины резкости мал, то легко промахнуться с фокусировкой и получить бракованный кадр.

Гонка продолжается

Пленоптический кадр нельзя сохранять в привычных графических форматах и обрабатывать в «Фотошопе». Для получения обычных изображений служит специальное программное обеспечение. Пока оно выпущено только для компьютеров Apple — видимо, сказался тот факт, что Рен Нг встречался со Стивом Джобсом и обсуждал возможность применения пленоптической технологии в одной из следующих версий iPhone. Впрочем, с помощью плагина пленоптический кадр можно сразу выложить на сайт, и пользователи смогут сами перефокусировать изображение.

И всё же есть параметр, который не афишируется на сайте Lytro, поскольку может заметно остудить энтузиазм в отношении этой новой камеры. Предельное разрешение кадров, которые можно получить с ее помощью, составляет всего 1080х1080 пикселей. Столько микролинз содержится в ее липпмановском сенсоре. Такое разрешение было в ходу во второй половине 1990-х годов, а сейчас применяется лишь в дешевых веб-камерах. При этом камера отслеживает 10,5 метей, а пленоптическая камера фиксирует его интенсивность. Чтобы перенести фокус в кадре, например с дальнего плана на ближний, надо чисто геометрически последить движение лучей чуть дальше фактического расположения сенсора за объективом и рассчитать, какое они там построят изображение. При этом расстояния до объектов тоже определяются из обработки пленоптических данных. Поэтому на практике достаточно просто кликнуть в любом месте изображения, а дальше программное обеспечения Lytro сделает эту часть кадра максимально резкой. В принципе, можно собрать резкий по всему полю кадр из частей нескольких представлений пленоптического изображения. Но самое парадоксальное, что перефокусировка отлично работает при полностью открытом объективе. В обычных камерах ради глубины резкости приходится уменьшать диафрагму, сокращая количество проходящего через него света, что часто затрудняет качественную съемку. галучей (млн лучей ), для чего в ней стоит 11-мегапиксельная ПЗСматрица. Но она разбита на макропиксели размером 3х3, и потому эффективное разрешение оказывается в 9 раз меньше.

У современных любительских камер разрешение составляет более 10, а у некоторых даже свыше 20 Мпикс. При этом для печати снимков в формате A4 вполне достаточно 5–6 Мпикс. Остальное обычно напрасный расход памяти. Многие фотографы считают, что наращивание числа мегапикселей — чисто маркетинговый прием, и в последнее время производители стали искать другие «продающие» параметры, такие как распознавание лиц или стереосъемка.

Пленоптическая технология должна вновь подхлестнуть гонку мегапикселей, придав ей новый смысл. Ведь для достижения разрешения 5–6 Мпикс в готовом кадре пленоптическая камера должна иметь 50-мегапиксельный сенсор, вроде тех, что ставятся сейчас в среднеформатных Hasselblad’ах стоимостью более миллиона рублей. Сейчас такое разрешение в любительской камере кажется невероятным, но не так ли было и с нынешними 20 Мпикс всего 10 лет назад?

Источник