интеллектуальная камера в телефоне
Лучшие смартфоны с искусственным интеллектом
Искусственный интеллект является одним из трендов последних лет. Есть ли польза в его наличии у смартфона и какие устройства наиболее интересны на современном рынке читайте в нашей статье.
Ежегодно производители мобильной техники придумывают новые фишки для гаджетов, чтобы заинтересовать покупателей. Начиная с 2017 года искусственный интеллект начинает входить в жизнь владельцев смартфонов, а уже через год поддержка появляется не только в дорогих девайсах, но и аппаратах среднего уровня.
Для чего нужен искусственный интеллект
Стоит понимать, что аналоги ИИ были и раньше, но тогда «интеллектуальность» сводилась к программным решениям – существовали разного рода голосовые помощники. С 2017 года процессоры стали оснащать выделенным блоком AI (сокращение от Artifactual Intelligence), который на аппаратном уровне решает ряд задач. К таковым можно отнести следующие функции:
На этом работа искусственного интеллекта не ограничивается. В сферу задач можно отнести AR приложения, умные покупки, онлайн переводчики и многое другое. Но наиболее видные результаты пользователи все же могут увидеть в вышеперечисленных категориях. Следует понимать, что все процессы приведены упрощенно и на деле все устроено более сложно.
При выборе смартфона с ИИ следует понимать, что сегодня недостатка в моделях нет. Их стоимость разнится и думать, что девайс за 15 тысяч имеет такой же ИИ, как и устройство за 60 тысяч неправильно. Более того термин «искусственный интеллект» широкий и путать его с «машинным обучением» или «нейронными сетями» неправильно. AI – это работа выделенного блока размещенного в чипсете. Машинное обучение и нейронные сети – это сбор информации и программная обработка, улучшающая скорость выполнения запросов. Простой пример их действия – чем чаще пользователь запускает приложение, тем быстрее оно будет загружаться.
Многие производители при выпуске девайсов хитрят и указывают в характеристиках наличие ИИ, но это совсем не гарантирует весь список возможностей. С вероятностью в 99% у недорогих смартфонов Ai используется для улучшения работы камеры и распознавания лица.
В наш ТОП не вошли такие популярные аппараты, как iPhone Xs, Samsung S10, Huawei P30 и другие флагманы в силу того, что в очередной раз рассказывать об их достоинствах скучно и большинство читателей с ними знакомы. Вместо этого мы выбрали несколько устройств не столь популярных и в разных ценовых сегментах. Стоит понимать, что у каждого из них свои возможности ИИ, о чем мы и постарались рассказать чуть подробнее.
ZTE Blade V10
Blade V10 – это пример девайса у которого весь интеллект чипсета направлен на улучшение работы камеры. Фактически полноценного AI здесь нет и при покупке это следует понимать. Аппарат получил мощную 32-мегапиксленьную фронтальную камеру со светочувствительным сенсором и двойной задний модуль 16+5 Мп. По отзывам пользователей они отлично справляются с фотосъемкой и этому не мешает даже отсутствие хорошего освещения. Фронтальный модуль имеет уже привычные сегодня бьютификаторы. Они аккуратно и незаметно улучшают фото, не делая из человека персонажа аниме. Достаточно неплохо устройству удается сниматься видео в разрешении FHD, есть режим Slo-mo 120 к/с.
В остальном модель вполне типична для 2019 года – пластиковый корпус, большой IPS дисплей с каплевидным вырезом, диагональю 6,3 дюйма и FHD+ разрешением. Смартфон получил гибридный слот для сим карт, имеет громкий динамик, современный Type-C, разъем для наушников. Емкость батареи – 3200 мАч, хватает на рабочий день. Быстрая зарядка не предусмотрена. Для защиты данных используется дактилоскопический сенсор и распознавание лица. В первом случае нареканий нет никаких, а вот камера угадывает пользователя в 5 случаях из 10, да и делает это не очень быстро. Работает смартфон под управлением Android 9.0 Pie.
Достоинства:
- Отличная камера. Хороший запас памяти. Большой и качественный дисплей. Наличие NFC. Современная «голая» ОС.
Недостатки:
Meizu X8
X8 вышел в конце 2018 года. Это первый девайс Meizu с вырезом в виде челки и на чипсете Snapdragon 710. Компания позиционирует его как игровое устройство благодаря мощному процессору и достойному запасу памяти. Аппарат действительно хорошо себя показывает в гейминге, но это не единственная его положительная сторона, впрочем, хватает и минусов. Помимо высокой производительности телефон обладает отличной камерой. Здесь действуют те самые алгоритмы AI, но, как и в случае предыдущей модели – это не полноценный искусственный интеллект. Задняя камера представлена двойным модулем 12 Мп (от Sony) и 5 Мп (от Samsung). Фронтальная камера 20 Мп. Претензий к фотографиям нет, смартфон отлично подбирает сцены и легко справляется со съемкой в ночное время. Приятно радует качество роликов в 4K с 30 к/с, есть Slo-mo 720p c 60 к/с.
Корпус устройства — сочетание металла и стекла, дисплей 6,1 дюйма с FHD+ разрешением. Аппарат получил Type-C, разъем для наушников, слот рассчитан на 2 сим, разъема для карты памяти нет. Аккумулятор – 3210 мАч, есть поддержка mCharge, полная зарядка занимает 75 минут. Операционная система – Andoid 8.1.
Достоинства:
- Качественная камера. Приятный дисплей. Наличие быстрой зарядки. Отличная производительность.
Недостатки:
- Маркий корпус. Посредственная автономность. Нет NFC. Нет слота для расширения памяти.
Xiaomi Mi 9T
Xiaomi Mi 9T – это новинка рынка, ставшая упрощенной версией флагмана компании с новым чипсетом Snapdragon 730 (был представлен в апреле 2019 года). Процессор является обновлением Snapdragon 710. Изменилась конфигурация ядер – вместо разбивки на две четверки используется комбинация 2+6, что дало прирост производительности на 35%. Snapdragon 730 выполнен на техпроцессе 8 нм, имеет обновленный Hexagon 688 (блок ИИ), который не только стал быстрее, но и энергоэффективнее в 4 раза. Теперь при выполнении задач этим блоком батарея садится меньше.
Если перенести все вышесказанное в разговор о смартфоне, то он отлично снимает и не сажает батарею. Многие обзоры показывают, что батареи 4000 мАч хватает более чем на сутки просмотра видео при яркости 50%, играть можно около 14 часов. Показатели очень внушительные. При этом производитель не забыл о быстрой зарядке. Фотовозможности представлены тройным модулем – 48+8+13 Мп и выдвижной лицевой камерой 20 Мп. Аппарат получил множество полезных режимов для фотосъемки, а также поддерживает запись видео 4K c 30 к/с. Все на очень достойном уровне.
Помимо вышеперечисленного телефон оснастили AMOLED дисплеем 6,39 дюйма с разрешением FHD+ и защитой — Gorilla Glass 5. Сканер отпечатка монтирован в экран. Есть в аппарате все современные беспроводные модули, включая NFC. Не стали убирать разъемов для наушников, при этом модель имеет все современные протоколы аудио, что делает ее весьма интересной для любителей музыки. Все это приправлено красивой внешностью, отличной производительностью и приятной для такой сборки ценой.
Достоинства:
- Мощная камера. Высокая производительность. Отличный дисплей. Наличие NFC. Высокая автономность.
Недостатки:
Honor 20
Honor 20 – это не единственный смартфон выпущенный на процессоре Kirin 980, являющийся в данный момент у Huawei топовой разработкой, но достаточно доступный. В новом чипе многое направлено на AI технологии. Чтобы не вдаваться в глубокие подробности важно отметить – процессор мощный, оптимизированный (за счет AI и новой технологии расчета нагрузок приложения открываются очень быстро), энергоэффективный (заслуга 7 нм техпроцесса) и отлично адаптирован для работы с камерой. В частности, обработка видео и фото происходит в онлайн режиме, что существенно увеличивает скорость создания снимков и улучшает запись видео.
Honor 20 – это интересное устройство с точки зрения железа (мощный процессор, много памяти, все современные интерфейсы, батарея 3750 мАч с быстрой зарядкой), внешнего вида (IPS FHD+ дисплей с отверстием под камеру, корпус стекло + металл) и цены. Но наиболее интересная его часть – камера. В данном случае производитель установил лицевой модуль 32 Мп, который делает ожидаемо качественные фото. А вот сзади стоит сразу 4 камеры – 48 Мп (AI стабилизация), 16 Мп (117 градусов), 2 Мп (для Боке) и 2 Мп (для съемки макро с расстояния 4 см). Не останавливаясь подробно на всех особенностях следует отметить, что последний модуль для макросъемки сделан скорее для эпатажа, так как основные 48 Мп справляются с этой задачей лучше.
Достоинства:
- Хороший дисплей. Удобный сканер отпечатка сбоку. Высокая производительность. Хорошая камера. Качественный звук. Наличие NFC.
Недостатки:
Asus ZenFone 6
Флагман от Asus получил в свое распоряжение новый чипсет Snapdragon 855 с новой кластерной системой ядер — 1+3+4, нейронным блоком 4го поколения, поддержкой 5G сетей, 3D подэкранного сенсора. На выходе получается мощный процессор с низким расходом энергии, минимальным нагревом, рядом защитных технологий для пользовательских данный и обработкой фото и видео «на лету». Однако, чипсет не единственная причина, по которой ZenFone 6 попал в рейтинг лучших девайсов с ИИ. Во многом этому поспособствовало отличное сочетание параметров и цены.
О процессоре было сказано выше, стоит лишь отметить, что по заявлениям производителя новый нейронный блок быстрее в 4 раза, чем у у прямых конкурентов Apple A12 Bionic и Kirin 980. Аппарат получил очень качественный IPS дисплей 6,4 дюйма с маленьким вырезом под динамик. Полезная площадь составляет 92%, а разрешение FHD+. Матрица поддерживает HDR10. Для защиты использовали Gorilla Glass 6. Устройство имеет отличные наборы памяти, при этом есть выделенный слот для карты памяти. Производитель поставил все возможные интерфейсы, не стал лишать гаджет разъема для наушников. Модель имеет мощный стереодинамик с 5 магнитами и интеллектуальным усилителем. Микрофоны оборудованы технологией шумоподавления. Есть поддержка технологии AudioWizard для улучшения качества звука.
В телефоне установлена мощная батарея на 5000 мАч с быстрой зарядкой. Благодаря ей он держится около 24 часов при просмотре видео FHD. Сканер пальца разместили на задней панели, есть разблокировка по лицу. Интересно выглядит камера. Она выдвигается из корпуса и может поворачиваться, что позволяет ее использовать и как основную, и как фронтальную. Asus не стали гнаться за большим количеством модулей и дали пользователям всего две матрицы. Первая 48 Мп от Sony (она же стоит в Xiaomi Mi9 и многих других аппаратах), о ней сказано много, и чтобы не повторяться следует лишь сказать, что снимает она великолепно. Дополнительный широкоугольный модуль 13 Мп с углом 125 градусов, в режиме реального времени умеет убирать искажения. Иногда грешит при съемке в ночное время, но это не критично. Кроме того, в аппарате есть лазерный автофокус. Видео можно снимать в 4K. В целом уровень фото высокий, но все же не самый топовый.
Фототест: как работает Искусственный Интеллект при съемке?
Что за смартфон?
Huawei nova 3 — более «молодежная» и доступная «сестра» флагманских P20 Pro и Mate 20 Pro. При этом в nova 3 используется тот же мощный топовый процессор Kirin 970 c отдельным ядром для искусственного интеллекта (аналогичный P20 Pro), отличная двойная основная камера на 24 МП + 16 МП с зумом и двойная фронталка 24 МП + 2 МП — также с поддержкой искусственного интеллекта и аппаратного боке.
В нашем обзоре мы уже отмечали, что это одна из лучших камер в среднем ценовом диапазоне. Все при ней: и двукратный зум без потерь, и качественные модули, и ночная съемка. В нашем материале — тест камеры nova 3 в самых разных условиях на протяжении 10 дней. Получилась ли замена фотоаппарату?
Жесткий свет
Для тестов камеры мы прилетели в солнечный Севастополь. Богатство местной природы позволит произвести съёмку как при ярком контрастном свете, так и в полной темноте, мы найдем пещеры, животных, насекомых. И сделаем несколько селфи — куда же без них!
Большинство фотографий в этом материале представлены в формате слайдеров. С одной стороны представлен снимок в стандартном режиме, а с другой — с включенным AI режимом.
В ночном снимке искусственный интеллект не поскупился на двойную экспозицию — слабее освещенный тротуар на «умной» фотографии высветлен и смотрится значительно ближе к тому, как это выглядело в реальности. Тот же трюк днем может пригодиться при контровом свете, например, если съемка ведется из помещения или из тени в сторону освещенной улицы.
Мягкий свет
Если камера видит зеленую растительность, нейросеть автоматически накладывает специфический фильтр, который повышает насыщенность цветов. Без AI режима сцена с сотрудником аэропорта, который поливает зеленую стену с живыми папоротниками на высоте третьего этажа смотрится не так впечатляюще.
То же касается неба — днем над морем часто бывает не очень живописная белесая дымка, из-за которой вода некрасиво сливается с небом. Но искусственный интеллект приходит на помощь. Обученный миллионами примеров алгоритм точно определяет, небо и линию горизонта и добавляет синевы, отдельно улучшая другие видимые объекты, например, зеленый лес ялтинских предгорий.
Впрочем, в пасмурную погоду это режим работает не хуже.
Как работает ИИ в камере
К слову, в отличие от моделей прошлого года, в nova 3 AI режим работает не только на основной, но и на фронтальной камере.
Благодаря точному распознаванию сцен, смартфон одним щелчком затвора делает снимки, которые потом можно спокойно выгружать в Инстаграм с хештегами #снятонаhuawei и #безобработки — и не нужны ни сторонние редакторы, ни даже встроенные фильтры самой соцсети, кадры и так смотрятся ярко и вызывают зависьть (и лайки).
Но, пожалуй, куда более практически значимой особенностью «умной» камеры Huawei nova 3 можно назвать ее способность делать отлично детализированные, четкие снимки даже при очень плохом освещении.
Тут в дело вступают несколько характеристик. Во-первых, двойная камера уже традиционно для Huawei состоит из основного цветного и второго черно-белого сенсора. Так как ч/б матрице не надо улавливать цветовые оттенки, она способна захватывать больше света, подробнее прорабатывая объекты в темноте с меньшим количеством шумов. Одновременно с этим камера делает и цветной кадр, а потом объединяет сырую информацию с двух цифровых матриц в одно резкое цветное изображение.
Но это еще не все — смартфоны Huawei 2018 года используют комбинацию оптической и «интеллектуальной» цифровой стабилизации изображения. Так называемая AIS (AI image stabilization) предугадывает (почти всегда корректно) движения объектов и направление тряски рук, чтобы снимки с длинной выдержкой меньше смазывались. Работу в темноте можно оценить на кадрах из Мраморной пещеры в горе Чатырдаг, в которой никогда не было естественного света.
А еще продвинутая стабилизация отлично проявляет себя при макросъемке на телеобъектив. С двукратным зумом эффект от всех движений камеры удваивается, и сделать качественный резкий кадр сложнее. AIS решает эту проблему, а искусственный интеллект параллельно увеличивает контрастность и проработку структуры, чтобы мелкие объекты вроде цветов и насекомых лучше выделялись из фона.
В официальной рознице Huawei nova 3 стоит 29 990 рублей с учетом целого вороха подарков для отпуска и продолжительной фото-охоты со смартфоном: внешнего аккумулятора с поддержкой быстрой зарядки Huawei Charge, фитнес-трекера Huawei Band 2 Pro и монопода-штатива.
Интеллектуальные функции, для которых пригодится камера смартфона
Содержание
Содержание
Большая часть нашей жизни давно заключена в гаджетах. Смартфоны и планшеты умнеют с каждым сезоном: искусственный интеллект уже вышел за рамки «Алисы» от Яндекса или «ОК, Google». Запускаются и другие интересные вещи вроде интеллектуализации и «дополнение реальности» с помощью фотокамер смартфонов.
Фотокамерами гаджетов теперь не только фотографируют, но используют для покупок, поиска дополнительной информации, перевода и так далее. Технологии дополненной реальности и распознавания позволяют реализовать такие интересные функции, которые еще недавно казались фантастикой. Вот про это мы сейчас немного и поговорим.
Интеллектуальные функции фотокамер смартфонов
На сегодняшний день, кроме фотографирования с персонажами дополненной реальности, добавления шаржевых элементов на фотографиях и сканирования штрих-кодов, фотокамеры смартфонов можно использовать:
Фотокамера-переводчик
Пока дополнительными функциями оснащены далеко не все смартфоны. Чаще всего нужно скачивать сторонние приложения, например, Google Объектив (Google Lens). Встроенными в камеры переводчиками обладают смартфоны из поднебесной: Huawei, Xiaomi. Встроенное приложение Honor умеет переводить только с русского, английского, немецкого, французского, испанского, португальского, итальянского, китайского, корейского и японского языков. У Mi список побольше — 109 языков.
Только с качеством есть проблемы. Даже с небольшими, простыми текстами, например, заголовками и вывесками, сервис справляется не очень хорошо, но понять, что написано в целом — можно.
У Google Объектив в списке языков доступны даже редкие: малаялам или себуано, если вам вдруг потребуется что-то перевести с этих языков. При этом происходит следующее: текст сканируется, передается в Translate Google, а полученный результат отображается пользователю. Перевод несложного текста, как видно на скриншоте, получился неплохим.
Использование фотокамеры для шопинга
Вы заходите в магазин, видите интересную вещь, но вас смущает цена. Интеллектуальные функции фотокамеры вам помогут и тут. Включаете режим «Шопинг» в фотоприложении по умолчанию или Google Объектив, наводите на понравившийся товар, изображение обрабатывается, а вам выдают похожие товары, найденные в Интернете.
Надо отметить, что также как и в первом случае Google Объектив справился с задачей намного лучше, чем приложение по умолчанию, найдя аналогичный товар, продающийся в Интернете.
Подсчет калорий
Вы делаете фотографию, смртфон находит соответствующий ему продукт и черпает из базы данных информацию о его калорийности. Сервис достаточно неплохо справляется с распознаванием отдельных предметов, выдавая информацию о том, сколько калорий получит человек, если съест этот продукт.
Тем, кто следит за каждой потребленной калорией и ведет здоровый образ жизни, информация может оказаться полезной. Приложение, конечно же, справляется с оценкой калорий только в относительно простых случаях, когда четко понятно, что на фотографии. Пельмени и вареники с картошкой этот сервис по внешнему виду пока различать не умеет.
Идентификация непонятных предметов, растений и животных
Также как и в «Шопинге» наводите камеру на неопознанный предмет, после чего сервис вам выдает, что это такое.
Подобные приложения существуют достаточно давно. Например, с их помощью можно опознавать насекомых или растения: Picture Insect: Bug Identifier, iNaturalist, Flora Incognita — Определитель растений, PlantSnap, LeafSnap — Plant Identification и другие.
Приложения эти работают с разной степенью точности в зависимости от объема базы данных. Но в целом они на самом деле позволяют расширить наши познания о том, что нас окружает.
Поиск решений для домашних заданий
Не самый честная, но, тем не менее, интересная функция есть в Google Объектив. Называется она «Домашнее задание». Она интересна тем, что позволяет находить подробные решения для уравнений, примеров и задач.
Работает она следующим образом: Google Объектив сканирует уравнение, после чего ведет поиск его подробного решения по образовательным сервисам. Находит очень точно. Но следует отметить — использовать такие сервисы все-таки следует для того, чтобы разобраться в непонятных вещах, а не для переписывания готового ответа.
Еще один интересный сервис, который есть в Google Lens — распознавание достопримечательностей. Наводите камеру на здание, она снимает его и ориентируясь на вашу геометку (соответственно, передача данных о вашем местоположении должна быть включена), выдает информацию, что это такое перед вами.
Кстати, на аналогичной технологии основаны приложения дополненной реальности, которые позволяют, например, принять участие в виртуальной экскурсии. Пример: если будете гулять в Санкт-Петербурге по Невскому проспекту, установите приложение Red Guide.
Оно, ориентируясь на вашу геометку и информацию на экране при включенной фотокамере, выдает небольшую лекцию о домах и дворцах Невского проспекта, а также через механизм дополненной реальности, показывает, как выглядели эти дома до революции. Наводите смартфон с включенной фотокамерой на какой-нибудь Гостиный двор с указанной в приложении точки. А там вместо того, что наблюдается сегодня — модель здания 1917 года. Занимательно, познавательно и сильно разнообразит прогулки по городу.
Как видите, фотокамеры используются для самых разных, хоть и похожих между собой задач – сканирование, распознавание, обработка изображений. Эти сервисы развиваются и в дальнейшем они станут еще удобнее и интереснее. Дополненная реальность станет круче и разнобразнее, а сервисы по анализу калорий смогут точно распознавать не только «БигМаки» из «Макдональдса», но и что-то посложнее. А пока можно попробовать сторонние приложения, которые позволяют дополнить реальность.
Зачем нужен искусственный интеллект в смартфонах и что он умеет
Содержание
Содержание
Развитие систем искусственного интеллекта стало трендом в последние несколько лет. Особенно четко это прослеживается на примере смартфонов — ИИ используется для оптимизации множества задач. Давайте посмотрим, где именно он применяется и какие перспективы нас ждут в будущем.
Как работает и где используется ИИ
Чтобы понять, что такое искусственный интеллект в смартфоне, сперва нужно разобрать понятие нейросети. По сути, это упрощенная модель мозга человека. Наш мозг состоит из 90 миллиардов нейронов, то есть клеток, которые обрабатывают и передают электрический сигнал. Они связываются между собой с помощью так называемых синапсов. Только в случае нейросети, нейронами служат специальные ячейки, которым можно присваивать числовые значения.
Например, ячейке a было присвоено значение 0,4. Она передает его соседним «нейронам» — d, e, f. Стрелочки (синапсы) заданным образом изменяют это значение. Связь «a—d» увеличивает значение вдвое, поэтому по итогу получается 0,8. Какие бы сигналы не проходили через этот синапс, они всегда будут умножаться на два.
В реальном мозге происходит точно также — электрический сигнал, следуя от одного нейрона к другому, всегда будет преобразовываться одинаково. Именно поэтому нам бывает сложно побороть устойчивую привычку или адаптироваться к нестандартной ситуации. Например, читая эту статью, вы уже начинаете скучать: сигнал постепенно угасает, зато другие импульсы (посмотреть смешное видео с котиками) наоборот усиливаются. Если вы все-таки заинтересовались, каким образом обучаются нейросети, рекомендуем почитать специализированный материал. А мы перейдем к практической реализации.
Для распознавания объектов сейчас применяют так называемые сверточные нейросети. Именно с помощью них смартфон понимает, что изображено на картинке. Приложение камеры в реальном времени идентифицирует предмет или сцену (животное, человек, пейзаж) и выставляет оптимальные настройки — оптимизирует цветность, яркость и контрастность, экспозицию.
По такому же принципу работает разблокировка по лицу в большинстве смартфонов. Фронтальная камера делает снимок, а алгоритмы сравнивают его с заданным изображением по ключевым точкам. Нейросеть всегда выдает вероятность, а не точный результат: если она большая, то телефон разблокируется. Алгоритмы машинного обучения помогают, если вы надели очки или отрастили бороду. Не узнав вас, система предложит ввести пароль вручную, а затем ИИ вносит корректировки в модель, адаптируясь к изменениям внешности.
В смартфонах дорогого сегмента применяется другой способ. Например, в iPhone 12 специальная камера True Depth проецирует несколько десятков тысяч точек на лицо и строит трехмерную модель. При попытке разблокировки, система сравнивает модель лица с исходной. Этот метод более надежен — мошеннику не удастся обмануть систему, поднеся к камере фотографию лица.
По этому же принципу работает распознавание речи. Отличие лишь в том, что Google Assistant и Siri от Apple отправляют запросы на облачные серверы, где они обрабатываются гораздо быстрее, чем на вашем телефоне.
Нейросети голосовых помощников обучают при помощи огромных массивов информации: начиная от классической литературы и заканчивая живыми текстами из интернета.
Технологии обучения используют и машинные переводчики. Например, Google Translate при помощи рекуррентных двунаправленных нейронных сетей умеет переводить предложения целиком, используя контекст. Раньше это происходило пословно, поэтому в сложных смысловых конструкциях качество перевода страдало.
Также доступен мгновенный перевод при помощи камеры, но для этого нужен интернет, поскольку данные также обрабатываются на удаленном сервере.
Алгоритмы ИИ в современных смартфонах применяются для множества задач. Помимо тех, что мы упомянули, они используются, например, для отслеживания движения объектов в реальном времени (распознавание жестов и эмоций, помощь при фокусировке видео), настройки звука с учетом окружающей среды, улучшения фильтров дополненной реальности в приложениях с поддержкой AR, в системах навигации (чтобы проложить маршрут без пробок) и многих других случаях.
Железная составляющая
Искусственный интеллект также применяется для оптимизации работы самого смартфона. В процессоре обычно используется 6–8 ядер, два из которых — высокопроизводительные, а остальные — энергоэффективные и работают на более низкой частоте.
Нейросеть анализирует привычки пользователя, чтобы обеспечить оптимальное соотношение между расходом батареи и производительностью. Смартфон определяет, какие приложения используются чаще и в какие промежутки времени, затем они автоматически подгружаются в оперативную память.
При прослушивании музыки или чтении веб-страниц не требуется много ресурсов, поэтому задействуется лишь пара-тройка низкочастотных ядер. А для игр и ресурсоемких программ периодически включаются производительные ядра.
Чтобы ускорить обработку вычислений для искусственного интеллекта, производители смартфонов стали выделять под эти задачи отдельный вычислительный блок. Первым процессором с NPU (нейронным модулем) стал Kirin 970 от Huawei, выпущенный в конце 2017 года. Этот чип распараллеливает огромное количество мелких операций, которые выполняются одновременно. Центральный процессор для этого не годится — у него всего 8 ядер. Графический ускоритель содержит тысячи ядер, но потребляет слишком много энергии.
Затем подтянулись и другие гиганты индустрии. Apple применила в iPhone X процессор A11 Bionic, встроив в него Neural Engine, который способен выполнять до 600 миллиардов операций в секунду.
Компания Qualcomm реализовала аппаратную поддержку алгоритмов машинного обучения в процессорах, начиная со Snapdragon 660.
Google встроила в свои смартфоны особый чип Pixel Visual Core, который ускоряет обработку фотографий.
Благодаря ему, снимки HDR+ в фирменном приложении камеры обрабатываются в 5 раз быстрее, чем при использовании обычного ЦП. Телефон делает до 16 фото с разной экспозицией за короткий промежуток времени, а потом объединяет их, используя нейросеть.
На текущий момент самым быстрым процессором в мире является Snapdragon 888. На его презентации большое внимание уделили возможностям нового нейронного ускорителя Hexagon 780. Qualcomm заявляет, что его производительность настолько высока, что ИИ «в режиме реального времени может стереть конкретного человека из видео или вставить кого-то другого».
Перспективы будущего
Прогресс движется к тому, что на смартфонах скоро можно будет запускать даже глубокое машинное обучение (так называемое Deep Learning). Говоря проще, увеличится количество слоев нейронов — сети смогут выполнять более сложные задачи.
Например, фронтальная камера будет постоянно анализировать лицо владельца, чтобы понять его физическое состояние. Повысится точность распознавания речи, при этом NPU будет лучше понимать конкретные намерения пользователя. Распространение сетей 5G позволить быстрее взаимодействовать с облачными серверами.