Что такое камера глубины на телефоне

Зачем нужен датчик глубины в смартфоне, кроме съемки портретов?

Обычно, когда упоминают, что у смартфона есть датчик глубины (ToF), подразумевается, что он нужен для размытия фона при фотосъемке. Но на самом деле у него есть еще несколько функций, о которых далеко не все знают.

Мы уже подробно рассказывали, как работает датчик измерения глубины? в том числе при съемке портретов: он замеряет время, которое свет тратит, чтобы отразиться от объекта, и вычисляет расстояние до последнего.

Да, нельзя просто взять и включить датчик глубины для каких-то целей, но программные алгоритмы используют его не только для размытия фона. Вот еще несколько сценариев его применения:

• Измерение расстояния. У некоторых смартфонов есть уже встроенные приложения с виртуальной рулеткой, а иногда их можно установить из магазина приложений. Суть одна — при помощи датчика измерения глубины (и камеры) они помогают измерить размеры реальных предметов в пространстве. При хорошем освещении замеры довольно точные.
• Некоторые смартфоны используют ToF-датчик для распознавания жестов, хотя эта функция и не очень распространена.
• Создание 3D-моделей. В настоящее время нам уже предлагают Animoji и аналоги, которые с помощью ToF-камеры повторяют ваше выражение лица. Кстати, продвинутые модели смартфонов используют датчик глубины для распознавания лица при разблокировке.
• Дополненная реальность тоже задействует датчики ToF, и это направление сейчас активно развивается — игр и приложений на основе AR становится все больше. И именно камера глубины позволяет в полной мере ощутить все прелести дополненной реальности.
• Для смартфонов существуют приложения, имитирующие камеру ночного видения — и это тоже благодаря датчику ToF. Все дело в том, что он использует инфракрасный свет и может создать точную карту окружения, в отличие от обычной ИК-камеры.
• Иногда ToF-камера используется в качестве датчика приближения (например, именно он отвечает за блокировку дисплея во время телефонного разговора) — она работает точнее обычного ИК-датчика.

Но все-таки будьте внимательны. Не всегда в смартфонах используется настоящий ToF-датчик: производители могут красиво рассказывать о «сенсоре глубины», но на деле из экономии просто комплектуют свои аппараты сомнительными датчиками разрешением 2 Мп. В таком случае для размытия фона (прямо скажем, не очень точного) алгоритм задействует дополнительную широкоугольную камеру.

Источник

Что делают 3D-сенсоры в смартфонах? РАЗБОР

Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?

Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.

Что такое 3D сенсор (сенсор глубины)

Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта — размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.

Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры. Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза — это тоже 3D сенсор. При этом, в отличие от LiDAR’а и ToF-сенсоров в смартфонах, глаза — пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.

Как работает ToF?

LiDAR в iPad’е, а также все 3D-сенсоры в Android-смартфонах — это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см — 30 пикосекунд. Вроде бы все понятно. Но есть проблема.

Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone — это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?

iToF — indirect ToF

Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.

dToF — direct ToF

dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL — Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.

Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.

Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.

Зачем это нужно в смартфонах

1. Безопасность

Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использовании трёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.

Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности и взаимодействовать с реальными объектами.

Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.

3. Улучшение фотографий

Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.

4. Прочее

Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking’а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.

Тесты

С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взяли Redmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.

Всё просто — размытие действительно больше и лучше, если ToF работает.

И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.

И найдите хотя бы одно отличие?

Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.

Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают — использовать эту камеру или нет?

При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.

Источник

Датчик глубины резкости в смартфоне — что это и зачем нужно?

Особенности и использование сенсора глубины резкости в телефоне.

Датчик глубины резкости — это сенсор, который во время съемки на камеру определяет глубину и дальность расположения объектов относительно смартфона и друг друга. Обычно датчик является отдельным модулем в блоке камер телефона, но в более современных моделях его встраивают в другие типы объективов, например, в широкоугольные или телеобъективы.

Зачем нужен датчик глубины резкости в телефоне?

Единственная функция датчика глубины резкости заключается в преобразовании области, которая попадает в объектив камеры, в трехмерную карту. Предавая объектам размер и форму, датчик автоматически определяет их местоположение. Он понимает, какие предметы находятся ближе, а какие дальше. Таким образом сенсор может правильно определить глубину резкости, чтобы получился качественный снимок.

Отделяя объекты заднего плана от объектов переднего, датчик может создать эффект малой глубины резкости. Это означает, что большая часть изображения будет отнесена к заднему плану и размыта. В фокусе останется только небольшой объект в центре фотографии: человек, предмет на столе и т.д. Этот эффект дает ощущение, будто изображение было сделано на профессиональную камеру или тщательно обработано редактором фотографий.

На практике, датчик глубины резкости часто некачественно выполняет свою работу. У трехмерного объекта в фокусе зачастую размыты границы, потому что его глубина на границе будет отличаться от той, что в самом центре фокусировки. Также размытие может казаться неестественным, так как на смартфонах обычно применяется равномерное размытие, а не усиливающееся в зависимости от расстояния до точки фокуса.

Кроме того, что датчик глубины резкости определяет положение объектов и обеспечивает эффектное размытие на фотографиях, он необходим для следующих функций:

• Размыть задний фон на изображении можно не только во время съемки, но и тогда, когда фотография уже готова. Датчик позволяет выделить объект в фокусе или его часть и наложить на них другой цветовой фильтр или эффект.
• Датчик позволяет размывать задний план во время съемки видеороликов, хотя это может выглядеть недостаточно аккуратно.
• Датчик глубины — сенсор, превращающий изображение в 3D-карту. Его используют для создания трехмерных моделей, измерения расстояния и размеров предметов.
• Датчик может использоваться для сохранения конфиденциальности. Например, во время видеоконференций или звонков пользователь может вручную скрыть задний план от посторонних.

Датчик используется не только для определения глубины резкости во время съемки — его возможности намного шире. Определяя расположение предметов, он поддерживает технологию виртуальной реальности для мобильных пользователей. И если сейчас сенсор работает неидеально, в будущем датчик глубины на телефоне может стать таким же эффективным, как и VR-очки.

Рекомендуем прочитать материал с советами, которые помогут делать красивые снимки на камеру смартфона.

Источник

Что такое Time of Flight (ToF) камера и почему она есть в моем телефоне?

Все больше и больше производителей хвастаются тем, что в их телефонах есть камеры Time of Flight (ToF). Но что такое ToF-камеры, как они работают и зачем они нужны в вашем смартфоне?

Камеры ToF имеют дополнительное разрешение по глубине

На самом базовом уровне камеры ToF — это обычные HD-камеры с увеличенным разрешением по глубине. Фактически, такие телефоны, как 2019 Huawei P30 Pro обладают разрешением глубины в четыре раза лучше, чем у обычных камер. Хотя «разрешение глубины» может показаться запутанным на жаргоне фотографа, на самом деле его легко понять. Камера с высоким разрешением по глубине может различать объекты, которые находятся поблизости (на переднем плане) и далеко (на заднем плане).

В фотографии это представление о переднем и заднем планах называется глубиной резкости. Это то, что создает ощущение реализма или сосредоточенности. Объекты, находящиеся поблизости, выглядят резкими, с чистыми контурами, а удаленные объекты выглядят слегка размытыми.

С камерой ToF у фотографов есть больше возможностей для управления глубиной резкости. Конечно, вам не обязательно быть фотографом, чтобы воспользоваться увеличенным разрешением глубины камеры ToF. Автоматические настройки камеры в сочетании с камерой ToF должны создавать потрясающие изображения с четко определенным передним планом и фоном. Камера ToF также может использоваться для создания потрясающего видео с улучшенной стабилизацией изображения или для повышения точности ваших фильтров Instagram.

Кроме того, камеру ToF телефона можно использовать для расширенного распознавания лиц, жестов и видеоигр с дополненной реальностью. Помните, как Pokemon Go использует вашу камеру, чтобы разместить покемона в вашем окружении? Камеры ToF могут сделать эту функцию более убедительной.

Эта технология не нова

Как ни странно, камеры ToF существуют с конца 70-х годов. Просто потребовалось время, чтобы технология стала достаточно дешевой и удобной для потребительских приложений.

В прошлом ToF-камеры использовались для топографической съемки, автоматизации промышленных машин и автоматических дверей. Но эта технология проникла во многие дома (в том числе, вероятно, и в ваш) еще в 2014 году. Kinect Xbox One использует камеру ToF для точного определения лиц и отслеживания жестов рук.

По состоянию на апрель 2019 года есть только несколько телефонов со встроенными камерами ToF, например LG G8 ThinQ , то Honor View 20 , то Huawei P30 Pro , а Oppo RX17 Pro . Эти телефоны предназначены для фотографов и компьютерных фанатов, но они устанавливают стандарт для будущих телефонов, в том числе Samsung и Apple Выпуски 2019 и 2020 гг.

Хорошо, камеры ToF супер крутые, и они существуют с момента выхода «Звездных войн». Но как они работают? Почему у них такое большое разрешение по глубине?

ToF-камеры используют лидар для измерения глубины

Вы знаете, как летучие мыши и дельфины используют звук, чтобы «видеть» окружающую их среду? Что ж, мы украли этот трюк, воткнули его в несколько подводных лодок и назвали гидролокатором. Камеры ToF используют аналогичный метод измерения глубины, но он называется лидар , и он полагается на импульсы инфракрасного света вместо звука.

Когда вы делаете снимок с помощью камеры ToF на телефоне, она испускает импульс невидимого ИК-света, который отражается от близлежащих объектов. Часть этого света рассеивается в бездне, но большая часть возвращается обратно в камеру ToF телефона.

Подобно волне сонара летучей мыши, лидарная волна возвращается по частям. ИК-свет, который отражается от близлежащих объектов, быстро возвращается в камеру ToF, тогда как свет, отражающийся от далеких объектов, займет немного больше времени. Ваш телефон измеряет, сколько времени требуется каждому лучу света, чтобы вернуться, вычисляет некоторые числа и создает подробную трехмерную карту глубины.

Это немного похоже на детские игрушки что ты прижимаешься к лицу. Эти игрушки обладают «трехмерным эффектом», потому что ваш нос, который находится близко к доске, создает большее углубление, чем ваши глаза и щеки, которые находятся относительно далеко от доски.

Конечно, отражение инфракрасного света дает вашему телефону только информацию о глубине. Вот почему камеры ToF сочетают ИК-функции с обычной камерой с высоким разрешением. Ваш телефон использует программное обеспечение для смешивания обычной фотографии с картой глубины IR 3D, и вы получаете изображение с четко определенным передним планом и фоном.

Будущие приложения для ToF-камер

В ближайшие несколько лет камеры ToF произведут революцию в способах съемки фотографий и видео на наши телефоны. Но давайте подумаем об общей картине. Мы говорим о форме технологии, которая может создавать карту глубины окружающей среды со скоростью света. Его приложения выходят далеко за рамки фотографии.

Фактически, ваш первый опыт работы с камерой ToF в телефоне, вероятно, будет связан не только с фотографией. В Samsung Galaxy S10 5G будут включать камеры ToF, как спереди, так и сзади. Apple, как известно, хранит молчание о планах на будущее iPhone, но ходят слухи iPhone 2019 года также может включать в себя камеры ToF. Да, это обновление сделает ваши селфи потрясающими, но оно также повысит точность Face ID и другие меры безопасности. Если вы включите распознавание лиц при настройке телефона, он незаметно сделает 3D-карту вашего лица, прежде чем вы получите возможность сделать какие-либо селфи.

Управление жестами — еще одно захватывающее (но, возможно, глупое) приложение для камер ToF. Да, система жестов Kinect стоит изрядно закатив глаза, но в следующие несколько лет вы, вероятно, обнаружите, что используете аналогичную технологию для управления своим телефоном, компьютером, умным помощником или умными часами. Прямо сейчас такие компании, как В движении работают над приложениями ToF для настольных компьютеров, а производители любят Google используют радарные и лидарные системы для создания умных часов и умных помощников, управляемых жестами, без использования рук.

Камеры ToF идеально подходят не только для управления жестами, но и для VR и AR Приложения. На базовом уровне такие вещи, как Instagram Filters и Pokemon Go, будут казаться намного более «реальными» при использовании с камерой ToF. Но для более сложных приложений, таких как VR, камеры ToF могут использоваться для регистрации жестов рук и шагов геймера. Их также можно использовать для быстрого отображения физических сред и преобразования их в миры VR, что может ускорить профессиональную разработку игр или открыть рынок VR для инди-разработчиков.

Но у ToF-камер есть и практические цели. В прошлом они использовались для автоматизации машин на заводах. Это не изменится. По мере того, как камеры ToF становятся лучше (и дешевле), они найдут свое применение в еще более промышленных и потребительских продуктах AI. Наиболее умные автомобили уже используют технологию лидаров, чтобы «видеть» окружающую их среду (что интересно, автомобили Tesla не используют лидары).

Хотя ToF-камера в вашем новом мобильном телефоне ограничена приложениями для фотографирования, дополненной реальности и распознавания лиц, сейчас хорошее время, чтобы освоиться с этой технологией. В конце концов, камеры ToF будут везде.

Источник