Искусственный интеллект для камер смартфонов: что это и как работает
Что такое искусственный интеллект
Прежде чем говорить о том, что такое искусственный интеллект (ИИ), стоит пару слов сказать об интеллекте естественном. Как понимают этот термин ученые, занятые в сфере когнитивных наук, интеллект – это качество психики, благодаря которому человек способен воспринимать и анализировать информацию, обобщать ее, делать выводы и действовать на их основе.
Также понятие «искусственный интеллект» связано с термином «нейросети». По сути, нейросеть является цифровой имитацией человеческого мозга. Клетки-ячейки нейросети (эквиваленты нейронов в человеческом мозге) соединяются друг с другом как и в «биологическом» мозге при помощи синапсов – специфических связей. Они проводят и обрабатывают сигналы, поступающие извне.
Таким образом, под искусственным интеллектом понимается небиологическая система, способная воспринимать и обрабатывать информацию, делать выводы и действовать на их основе.
Термин Artificial intelligence (AI) был впервые использован в 1956 году Джоном Маккарти – автором первого искусственного языка программирования. В шестидесятые годы и далее в разных странах мира, в том числе и в Советском Союзе, велись работы по обучению искусственного интеллекта способам мышления, схожими с человеческим. На данный момент большинство научных сообществ, технических компаний и политических лидеров признают дальнейшее развитие ИИ одной из приоритетных сфер научно-технического прогресса.
Искусственный интеллект сейчас находит применение фактически везде: на производстве, в бизнесе, сфере развлечений, медицине, искусстве, продажах, в банковской сфере и социальных сетях.
Выделяют три вида ИИ в зависимости от уровня развития: слабый, общий и сильный.
Слабый: ИИ может выполнять определенный набор задач и даже делать это лучше человека, постоянно развиваясь в конкретном направлении. Это тот вариант AI, с которым мы имеем дело сейчас, говоря об его использовании при съемке на смартфон.
Общий: ИИ может справляться с интеллектуальными задачами творческого характера. Создавать произведения искусства (например, писать стихи или картины). Или просто расспросить пользователя, как прошел его день, и выразить сочувствие, если что-то случилось. Такая технология используется в голосовых помощниках.
Сильный: ИИ способен справляться с любыми задачами, любого плана. И делать это лучше, чем человек. Соответственно, он сам способен создавать машины более высокого уровня – пожалуй, страшный сон человечества.
До сих пор нет единого понимания и отношения к искусственному интеллекту. Одни видят в нем просто технический инструмент для работы, другие – объект для развлечений, а третьи – опасность для существования человечества. Однозначно можно утверждать лишь то, что в нашей повседневной жизни ИИ играет все большую роль, хотим мы того или нет. И происходит это не где-то в далеком будущем, а здесь и сейчас. Вспомните только гуляющие по интернету ролики, где люди помогают роботам-доставщикам перейти дорогу – такими машинами также управляет искусственный интеллект. И это вовсе не кадры из научно-фантастического фильма.
Как работает AI в смартфонах: процессоры с нейромодулем
Мы уже давно привыкли к тому, что в большинстве камер существует автоматический режим: вот только проблема в том, что к автоматике не прилагается волшебная кнопка «сделать шедевр». А хотелось бы! Поэтому производители активно работают, пытаясь удовлетворить этот запрос пользователей.
Все чаще качество фотографий, сделанных с помощью камеры смартфона, не связано с возможностями самой камеры, количеством мегапикселей и даже творческим потенциалом ее владельца (к некоторому нашему сожалению). Конечный результат съемки зависит от работы процессора – в частности, его нейромодуля, благодаря которому и функционирует ИИ.
С чего все начиналось? В 2016 году компания Google представила свои супер-флагманские смартфоны Pixel и Pixel XL, обозначив переход мира мобильных устройств в эпоху искусственного интеллекта. У продуктов Apple в 2017 году в чипе Apple A11 Bionic также появился так называемый «нейронный движок» (Neural Engine) – он отвечает за работу ИИ.
В 2017 году Huawei представила свои флагманы Mate 10/10 Pro на базе SoC HiSilicon Kirin 970 с выделенным нейронным модулем (NPU). Не стала отставать от конкурентов и компания Qualcomm, выпустив в 2018 году чипсет AI Engine на базе мобильных процессоров Snapdragon.
При съемке ИИ анализирует кадр для установки оптимальных настроек камеры. Для этого нейронный движок должен «пройти обучение», изучив огромное количество изображений: он учится отличать объекты в кадре и понимать условия освещения (свет – один из основных параметров фотографии). В итоге мобильная съемка, сопровождаемая AI, проходит те же этапы, что и съемка, где за все отвечает сам пользователь. Но в случае с умными камерами все задачи по настройке параметров камер и последующей корректировке цвета берет на себя искусственный интеллект – или нейромодуль процессора.
На что способен ИИ при съемке
Постоянно получая и анализируя большое количество информации, ИИ способен вычислить, какая картинка будет наиболее приятна нашему глазу. Исходя из этого, он не только помогает камере настроить параметры съемки, но и производит программную постобработку кадра, применяя определенные алгоритмы по его улучшению в зависимости от исходника.
Итак, на что же способен ИИ в камере смартфона?
Анализ сцены. Первое, что делает AI при съемке – анализирует сцену и объекты, которые пользователь снимает. Оценивается сам предмет съемки: пейзаж, архитектура, ребенок, домашнее животное и т.п. Современные смартфоны с AI-камерами умеют распознавать десятки сюжетов съемки и применяют для них разные алгоритмы обработки. Также анализируются условия освещенности: от них зависит значение экспозиции. Чем меньше света попадает в кадр, тем больше должна быть раскрыта диафрагма и дольше выдержка.
Цвет. Все знают, что цвета предметов на фотографии зависят от уровня освещенности, от того, какой свет присутствует в кадре – естественный или искусственный. Солнце в зените создает в кадре глубокие, черные провалы в тени, а цвета кажутся блеклыми и смазанными. Холодный, жесткий свет ламп дневного освещения, теплый свет ламп накаливания – все эти особенности освещения приходится учитывать фотографу при выставлении вручную так называемого баланса белого. Но с камерой, которой управляет ИИ, пользователю не придется производить дополнительных «телодвижений». Нейронный движок сам выставит правильный баланс белого для каждого кадра и доработает цвета: сделает траву зеленее, небо – голубее, а кожу – румянее.
Удаление из кадра объектов. Вы снимаете сквозь стекло, например, в музее? Или сквозь сетку или решетку в зоопарке? Сегодня искусственный интеллект, который используется в мобильной съемке, умеет даже убирать такие артефакты из кадра.
Бьютификация. Полагаем, что здесь не требуется серьезных объяснений. Эта функция играет особенно важную роль при портретной съемке. ИИ виртуально проводит настоящие косметические процедуры: выравнивает кожу, убирает ее недостатки, придает лицу здоровый цвет и т.д.
Ночная съемка. Во-первых, при съемке в условиях плохого освещения ИИ оценивает, где находится смартфон: держит его пользователь в руках или установил на неподвижную поверхность. В соответствии с этим гаджет выберет выдержку. Во-вторых, в зависимости от объекта съемки и освещения сцены будет выбрана подходящая экспозиция и количество кадров для дальнейшего их попиксельного склеивания (вернее тех из них, которые удачно получились). На конечном этапе работы ИИ проводит анализ всех сделанных кадров, выбраковывает неудачные, а все удачные соединяет в одно итоговое изображение.
Что еще может сделать ИИ? При съемке на высоких значениях ISO в кадре неизбежно появляется тепловой шум – мелкие цветные точки, мешающие восприятию изображения. ИИ способен избавить изображение от них, при этом не уменьшая уровень детализации.
Стабилизация. ИИ способен высчитать уровень тряски телефона и динамически компенсировать ее в каждый отдельный момент времени. Таким образом, благодаря нейродвижку в современных процессорах вы получите ровную, плавную картинку даже при съемке на камеру без оптической стабилизации.
Замещение неудачных фактур. Представьте, что света при съемке не хватает, и резкость кадра оставляет желать лучшего. И здесь на помощь может прийти ИИ. Проанализировав кадр и объекты, изображенные на нем, технология заменит неудавшиеся части снимка на имеющиеся в базе данных изображения. Получить отличный снимок объектов на дальнем расстоянии с помощью камеры смартфона – легко! Например, луны – почему бы нет? ИИ подберет из своей базы данных подходящее изображение и заменит часть исходного снимка на него, подогнав по размеру.
Мультисъемка. У разных производителей этот режим называется по разному: у Honor это «Мультивидео», у Samsung – Director’s View («Режим режиссера»). Вне зависимости от названия суть одна – благодаря технологиям ИИ смартфоны могут вести запись одновременно на две камер: тыльную и фронтальную. Полезная функция для ведения репортажей, записи интервью или памятных моментов.
Кого считать автором фото: человека или ИИ?
В качестве итогов напомним, что на современном этапе развития мобильной фотографии не столь важно, какого размера матрица или какими линзами оснащен объектив. Гораздо важнее, какой процессор и нейромодуль скрывается за всеми действиями камеры смартфона.
Уже сегодня ИИ умеет многое – и продолжает развиваться. Благодаря умным камерам цвета на фото получаются более насыщенными, нет теневых провалов и участков пересвета, а лица людей «обработаны» косметически.
Правда, возникает вопрос: кого считать автором фотографии, созданной с помощью ИИ? Зачастую смартфон выдает такой яркий кадр, что объект на нем выглядит более привлекательно, чем в реальности. Не являются ли такие фотографии заведомым обманом зрителя? А как же первый из законов робототехники Айзека Азимова? Ведь робот не должен причинять вред человеку своим действием или бездействием. А такой обман можно квалифицировать как вред? Вопросов пока больше, чем ответов на них. Однозначно можно сказать одно – такие фотографии наберут много лайков в соцсетях, ведь ИИ знает, как нам понравиться.
Источник
Искусственный интеллект, или AI-обработка в камерах смартфонов
Натолкнулся на мнение, которое оказалось достаточно широко распространенным: AI-алгоритмы в камерах смартфонов — это фильтры и ничего больше, они позволяют украсить ваши фотографии, но никакого смысла, кроме этого, не имеют. В какой-то мере такая точка зрения имеет право на существование, особенно если не хочется разбираться даже в самых простых вещах. Но давайте попробуем вспомнить, когда и как началась эпоха AI-камер в смартфонах и куда идет развитие рынка.
Очень часто я натыкаюсь на отсылку к камерам Sony, в которых автоматическое определение сцен появилось одним из первых, по аналогии с тем, что делают современные смартфоны, их считают прообразом AI-камер. Возможно, такое толкование было бы оправданным, если бы не одно возражение — AI-камера не может существовать без мощного процессора, который обрабатывает все изображения с нее, причем картинки как уже сделанные, так и те, что еще не сфотографированы. Первым производителем, сделавшим ставку на AI как будущее рынка не только камер, но устройств в целом, стала компания Huawei. В октябре 2017 года в Мюнхене компания показала свой флагман Mate 10/10 Pro. Это первый аппарат, для которого использовали словосочетание “встроенный AI”, упомянули, что он используется для фотографии, но выделять в отдельный термин не стали. Упор был сделан на чипсете Kirin 970, в нем впервые появился отдельный процессор для AI-вычислений, это особый вид задач и алгоритмов. Обычные процессоры могут выполнять такие алгоритмы, но они не оптимизированы для них, как результат, их производительность оставляет желать лучшего. Поэтому отдельный процессор, отвечающий за AI-вычисления, стал логичным развитием рынка чипсетов, и то, что в первую очередь он нашел применение для фотографии и встроенных камер, вполне логично.
Тогда на корпусе не писали, что аппарат обладает AI-алгоритмами, это стало популярно позднее, а волна таких моделей пришлась на 2019 год, когда AI-обработка снимков стала функцией по умолчанию во всех современных смартфонах. Например, на корпусе Huawei P Smart 2019 вы можете видеть надпись AI Camera, что в какой-то мере дань маркетингу и той популярности, что эта опция приобрела в глазах покупателей.
Как-то попытался узнать, как понимают AI-камеру обычные покупатели. Стоя в магазине в центре Москвы в качестве продавца, разговаривал с покупателями, спрашивал про эту функцию. Большинство ответов сводились к тому, что камера сама понимает, что перед ней, и улучшает фотографии соответствующим образом. Лица людей лишает изъянов, траву подкрашивает зеленым цветом, небо делает голубым. Рискну предположить, что большинство людей определяет AI в телефоне именно так и никак иначе. Фактически мы говорим о том, что камера телефона умеет понимать, что именно вы фотографируете, и менять настройки в зависимости от этого. Первоначально таких сценариев у Huawei было несколько десятков, но лиха беда начало. К выходу Huawei P20 Pro нейронные сети натренировали определять 19 категорий снимков, всего было около 500 сценариев. В Mate 20 Pro число категорий увеличилось до 25, а общее число сценариев превысило 1500. В данный момент их число еще больше, и оно постоянно растет.
На практике в интерфейсе камеры есть “Мастер ИИ” (AI — это искусственный интеллект, ровно так же переводится аббревиатура), вы можете его как включить, так и выключить.
Когда мастер работает, то вы видите подсказку, например, наводите камеру на текст, и тут же появляется окошко, где говорится, что это текст.
Ровно так же все работает, когда вы наводите камеру на кошку или собаку, цветы и другие предметы, смартфон определяет, на что смотрит камера, и выставляет наилучшие параметры, чтобы ваш снимок для социальных сетей или для собственного использования был наилучшего качества. Кто-то говорит о том, что ратует за “натуральность”, но это настолько вымирающая тенденция, что тут просто нечего обсуждать, большая часть фотографий, которые вы видите в сети, имеют ту или иную редактуру, вольную или невольную. То, что большинство людей хочет навести камеру на предмет и получить качественный снимок, не вызывает сомнений. Меньшинство хочет некой натуральности, того, как предмет выглядит в их воображении. Но это скорее ностальгия по своим представлениям, не более того.
Вычислительная фотография пришла в нашу жизнь прочно и надолго. В темноте зачастую невозможно получить резкий, качественный снимок лица, чтобы были прорисованы отдельные волосы. А значит, можно взять примерно совпадающие волосы из базы телефона, добавить их к фотографии и получить снимок, который будет выглядеть принципиально иначе. Идея простая, но реализация на практике намного сложнее, чем это звучит. Тем не менее, это уже реализовано, и в Huawei даже пошли дальше.
На презентации Huawei P30 Pro нам показали сценарий Moon Shot, это снимок Луны. Телефон понимает, что вы направили его на Луну, использовали зум, и в этот момент делает “снимок”. Моему возмущению не было предела, так как я понимал, что оптика аппарата неспособна сделать такой снимок, и это выглядело как подделка. Спустя несколько месяцев я изменил свое мнение, и причина в том, что это ровно та же вычислительная фотография. Смартфон определяет предмет, который вы фотографируете, в нашем случае это Луна, а затем подставляет его из базы. Качественных снимков Луны много, выбрать есть из чего. Но никогда вы не могли сфотографировать Луну на свой смартфон. Тут же вам дали эту возможность, и она подкупает. Это не отражение реальности, если не считать таковым положение Луны на снимке, другие детали, например, окно или дерево, попавшее в кадр. Это скорее некая работа редактора, который подставляет качественное изображение объекта.
И вот этот пример отлично описывает то, куда движется вычислительная фотография, многие объекты не будут натуральными, их возьмут из уже существующих баз снимков, либо AI-алгоритмы дорисуют их так, как мы хотим их видеть. Самое время забыть о том, что когда-то существовала натуральность, отражение реального мира, фотография еще задолго до появления смартфонов стала манипулятивной, она не отражает реальный мир. Теперь эти манипуляции просто выходят на принципиально иной уровень, в какой-то мере становятся узаконенными. Первоначально это вызывает отторжение, стойкое неприятие. Но по зрелом размышлении ты начинаешь понимать, что весь мир будет устроен именно так и стоит это принять как можно раньше, чтобы не переживать о своих иллюзиях позднее. Прическа вашей девушки на снимке, текстура кожи и другие детали — все это отдаленное приближение к реальности, более того, сама реальность волнует немногих. Тут скорее вопрос в том, как сохранить грань между красотой снимка и искажением первоначальной картинки, как найти правильный баланс. Именно AI-алгоритмы будут их искать.
Теперь давайте посмотрим на уже готовые снимки, тут также задействуют AI-алгоритмы, в галерее можно увидеть, как снимки автоматически распределены по папкам, — смартфон понимает, где какая категория, и с каждым годом учится делать фото все лучше и лучше.
В той же Huawei специально создают AI-чип для своих процессоров, с каждым годом их производительность растет и остается одной из самых высоких. Причина в том, что именно такие алгоритмы становятся важны и постепенно выходят за рамки только камер и получения снимков. Сделанные снимки нужно распознать, AI-алгоритм определяет, есть ли на снимке люди, кто это и что они делают (радость, печаль, веселье и так далее — это определение эмоций), вещи и предметы, цвета и многое другое. Это кажется детской задачей, но она открывает целый спектр новых возможностей. Например, камера вашего телефона может научиться определять жесты и соответствующим образом реагировать. В том же Mate 30 Pro есть распознавание жестов, вы можете сделать скриншот, сжав кулак над экраном.
В какой-то мере AI — это познание внешнего мира, причем большая часть алгоритмов полностью автономна, она не требует сетевого соединения. И говорить о том, что AI — это только камера, невозможно, следует рассматривать камеру как внешний сенсор, который дает информацию для смартфона и тех алгоритмов, что в него вшиты. Мы только в самом начале пути, так как в будущем алгоритмы станут сложнее, замысловатее и при этом предложат совсем другой уровень персонализации.
Я не ставил задачей в небольшом материале остановиться на всех AI-алгоритмах, специфике их работы, это скорее статья для того, чтобы вы могли оценить направление развития, получить обзор того, куда идет индустрия.
Источник
