Что такое Deep Fusion: как Apple прокачала камеру в iPhone 11
Весь последний год я пользовался iPhone XS Max на 256 Гб с двумя физическими SIM-картами. Сначала даже не думал менять его на что-то более новое. Но обстоятельства сложились так, что махнул его на простой iPhone 11 на 128 ГБ. Меня не смущает менее крутой и мелкий экран, а вот камера радует.Дело в том, что я очень давно отказался от отдельного фотоаппарата как в работе, так и в личной жизни. Подавляющее большинство снимков даже в моих статьях сделано на мобильные устройства — почти всё на смартфоны Apple разных поколений. Очередной шаг вперёд в возможностях съёмки — это для меня очень важно. Конечно, было бы круче взять iPhone 11 Pro, но телевик мне нужен один раз в год. Решил, что цена не оправдана, и более подробно об этом я расскажу в отдельной статье. Если кратко, обновил не только смартфон, но и умные часы — доплата при этом практически не понадобилась.
Одним из главных нововведений свежей линейки iPhone оказалась именно новая система камер. В iPhone 11 используется два модуля по 12 Мп каждый — один широкоугольный с размером диафрагмы ƒ/1.8, второй сверхширокоугольный на ƒ/2.4. В iPhone 11 Pro и 11 Pro Max также используется телеобъектив на 12 Мп и с размером диафрагмы ƒ/2.0. Все камеры расположены максимально близко друг к другу, несмотря на спорный внешний вид самой системы на задней панели, чтобы максимально гладко переключаться между ними. Создаётся ощущение, что используется подвижный объектив, как на больших камерах.
Тем не менее, куда важнее программные механизмы, которые используются в новых смартфонах Apple. Они работают на базе нового процессора Apple A13 Bionic. Это ночной режим, Smart HDR нового поколения, а также режим Deep Fusion, на котором мы отдельно заострим внимание немного дальше.
10 новых фишек для съёмки, которые появились в iPhone 11
1. Сверхширокоугольная камера. Дополнительная камера в смартфонах Apple появилась ещё в iPhone 7 Plus в 2016 году — он стал одним из первых мобильных устройств с двумя «глазками» на задней части корпуса. Именно этот гаджет создал настоящий тренд, который быстро подхватили все конкуренты. Дополнительным модулем iPhone 7 Plus оказался телевик для имитации оптического зума. Переключаясь на эту камеру, вы приближали изображение в видоискателе в два раза практически без потери качества. Это могло пригодиться для съёмки деталей архитектуры, животных, природных явлений.
Apple использовала телевик в смартфонах до 2019 года. Он появлялся в iPhone 8 Plus, в iPhone X, в iPhone XS и XS Max. Аналогичный модуль используется также в iPhone 11 Pro и 11 Pro Max, но главная фишка новой линейки сверхширокий угол. Камера с обзором на 120 градусов на 12 Мп стала одной из самых интересных особенностей всей линейки iPhone 11. С помощью неё круто делать фото архитектуры вблизи, снимать внутри помещения и не только. Уверен, этот модуль куда интереснее телевика, так как подойти к объекту съёмки бывает проще, чем отойти от него.
Жаль только, что сверхширокоугольный объектив смартфона получил диафрагму ƒ/2.4. Этого недостаточно для получения качественных снимков в условиях недостаточного освещения — на это нужно обратить повышенное внимание. Аналогичная ситуация ранее была и с телевиком, но потом это исправили.
2. Увеличенная диафрагма телефото. В iPhone всегда был достаточно «тёмный» телевик. Например, в iPhone XS и XS Max размер его диафрагмы находился на уровне ƒ/2.4, чего достаточно мало для съёмки в помещении, а также на улице в вечернее время. Это не просто наши наблюдения, в этом всегда была уверена и Apple. Дело в том, что при использовании двукратного «оптического» приближения в условиях недостаточного освещения смартфон автоматически переключался на основную камеру. В итоге вы фактически получали двукратный цифровой зум, который сильно портил качество итогового изображения.
Нет, вы конечно могли принудительно использовать и телевик, но сделать это можно было только с помощью сторонних приложений — некоторые из них даже давали возможность фотографировать на две камеры одновременно. Тем не менее, это не отменяло того огромного числа шумов в телекамере.
Хорошо, что в iPhone 11 Pro и 11 Pro Max размер диафрагмы увеличили с ƒ/2.4 до ƒ/2.0. Apple обещает, что теперь переключений на основную камеру не будет, и телевик будет всегда отыгрывать свою роль на 100%. В этом нам ещё предстоит убедиться.
3. Более яркая вспышка True Tone. В актуальных iPhone используется интересный модуль вспышки, который состоит из нескольких светодиодов разной температуры. Это нужно для того, чтобы сделать кадр с его использованием более реалистичным. В новых смартфонах диоды стали более яркими.
4. Специальный ночной режим. Он работает на базе технологий машинного обучения и даёт возможность получить снимки максимально высокого качества даже в условиях крайне скудного освещения. Для этого используется имитация длинной выдержки и склеивание в один отдельных кадров.
5. Smart HDR нового поколения. Этот режим используется в условиях сложного освещения — например, против солнца. Обычно в этом случае некоторые участки снимка оказываются слишком тёмными, а другие пересвеченными. Данная функция как раз и нужна для того, чтобы всё исправить.
6. Особый режим Deep Fusion. С помощью этой технологии последние модели iPhone делают несколько снимков и склеивают их вместе. Благодаря этому значительно увеличивается детализация итогового изображения — это особенно хорошо видно на текстурах любых материалов.
7. Видео в HDR при 60 FPS. Ранее использовать расширенный динамический диапазон можно было только при съёмке видео с частотой 30 кадров в секунду. За счёт производительного процессора Apple A13 Bionic эту цифру удалось увеличить вдвое — до 60 кадров в секунду.
8. Аудиозум для контроля звука. Новые смартфоны Apple получили возможность регулировать громкость звука от объектов, которые находятся в видоискателе. Те, что расположены в фокусе, будут громче, остальные тише. Это создаёт ощущение присутствия в конкретной локации.
9. Фронтальная камера на 12 Мп. В iPhone XS и XS Max Apple использовала модуль фронтальной камеры на 7 Мп. В новинках компания заменила его сенсором с увеличенным разрешением, с помощью которого сделала следующий шаг в детализации ваших селфи.
10. Запись 4K-видео на фронталку. Записывать видео с помощью фронтальной камеры теперь можно в разрешении до 4K. Для этого можно использовать частоту 24, 30 или 60 кадров в секунду. Это круто, если вы планируете использовать iPhone за записи видеоблогов.
Deep Fusion — главное нововведение в приложении «Камера»
Режим Deep Fusion предназначен для того, чтобы увеличить детализацию снимков даже в самых спорных условиях внешнего освещения — не ночью, ведь для этого времени суток есть отдельный режим. Для этого любой гаджет из модельного ряда iPhone 11 делает сразу восемь снимков с разной экспозицией, почти как в случае со Smart HDR. После этого он собирает два фото, которые будут базовыми, и помещает их в буфер обмена. Дальше режим изучает каждую точку данных изображений с помощью искусственного интеллекта, а также следит за деталями, шумом и другими параметрами кадра.
Всё это нужно для того, чтобы определить, какой участок фото оставить в первозданном виде, к какому из них применить повышенную резкость, а какой из них нуждается в агрессивном шумоподавлении. В итоге получается один готовый снимок, который должен выглядеть более круто и проработано.
Вы должны понимать, что управлять этим режимом вручную нельзя. Это не функция, которую можно включить или выключить, а специальный умный алгоритм, который работает без постороннего вмешательства. Единственное, чем больше фоток вы будете делать, тем круче будет результат — это же нейронные сети.
Новый Smart HDR и Deep Fusion работают по похожему принципу, но у них абсолютно разные цели. Первый нужен для того, чтобы компенсировать сложные условия освещения, а второй — для повышения детализации итоговых снимков. Да, они склеивают несколько снимков в один, но результат будет разным.
В нашей редакции вообще считают, что Deep Fusion — это простой перешарп, который можно повторить с помощью «Фотошопа». Но на деле это не так. При повышении резкости снимок начинает выглядеть менее реалистично. А вот с Deep Fusion другая история — он добавляет детали более бережно.
Насколько хорошо Deep Fusion работает в бетах iOS 13.2
Впервые о Deep Fusion мы услышали на презентации линейки iPhone 11 10 сентября 2019 года. Потрогать же своими руками её можно, начиная с первой тестовой версии iOS 13.2. Для этого нужно установить профиль разработчика, а потом обновиться стандартными средствами. Вот что получается:
Слева iPhone 11 Pro с Deep Fusion, справа iPhone 11 Pro Max без Deep Fusion
Слева iPhone 11 Pro с Deep Fusion, справа iPhone 11 Pro Max без Deep Fusion
Слева iPhone 11 Pro с Deep Fusion, справа iPhone 11 Pro Max без Deep Fusion
Да, сейчас работу Deep Fusion видно не всегда, и функционирует он не на 100% идеально. Тем не менее, нужно учитывать, что эти снимки выполнены с использованием именно тестовой версии операционной системы iOS 13.2. Более того, фишка обучаемая, поэтому будет становиться только лучше.Deep Fusion и другие фичи доступны только на iPhone 11
Уже сегодня встречаю возмущения по поводу того, что Deep Fusion и другие фишки для стандартной «Камеры» предназначены только для iPhone 11, 11 Pro и 11 Pro Max. Почему-то все уверены, что их можно было бы без каких-то проблем добавить хотя бы в прошлогодние смартфоны: iPhone XR, iPhone XS и XS Max. Тут же всплывает мнение по поводу маркетинговой машины Apple, которая двигается вперёд и сносит всё на своём пути. Компания буквально заставляет нас покупать новые смартфоны, не добавляя в старые настолько интересные функции. Многие уверены, что это очень подло.
У меня есть два аргумента, которыми можно парировать подобные выводы. Начнём с того, что никто не обещал, что вы будете получать новые фишки для старых смартфонов. Лично я и без того очень рад, что Apple поддерживает все свои гаджеты не меньше нескольких лет, и в них регулярно появляются все новые и новые программные фишки. Да, у новинок их обычно больше, но на то они и новинки. В мире Android ситуации приблизительно аналогичная, только срок поддержки устройств обычно заметно ниже — не думаю, что будете спорить с этим фактом. Это первый аргумент.
Второй же касается непосредственного использования приложения «Камеры» на iPhone 11, опытом использования которого я, уверен, ещё поделюсь с вами. В это время он ощутимо нагревается. Скорее всего, в данный момент его процессор работает чуть ли не на 100%, чтобы склеивать снимки с подробным анализом каждого пикселя для получения максимально интересного результата. Быть может, это не фича, а баг тестовой версии iOS 13.2, но лично меня компании Apple удалось убедить, что мой предыдущий iPhone XS Max не потянул бы эту возможность.
В ближайший год моим главным фотоаппаратом и основной видеокамерой окажется именно iPhone 11. Надеюсь, мне хватит 128 ГБ памяти для всех снимков, которые я планирую сделать в путешествиях и на выставках. Впереди ещё очень много интересного, поэтому обязательно оставайтесь с нами.