Как выглядит камера распознавания лиц
В этом году все уличные видеокамеры Москвы подключат к системе распознавания лиц
Система распознавания лиц компании NTechLab. Фото: NtechLab
Многие слышали про успехи системы видеонаблюдения в Китае, которая объединяет более 170 млн видеокамер, подключённых к единой системе распознавания лиц. К 2020 году количество камер увеличится до 400 млн, плюс видеонаблюдение заработает через другие устройства, в том числе через «умные» очки полицейских. Благодаря тотальной слежке власти надеются, что смогут быстро определять местоположение любого преступника, который находится в федеральном розыске. Разумеется, доступ к такой системе даёт массу иных преимуществ.
Аналогичная система развернётся в Москве. В этом году власти собираются подключить к системе распознавания лиц все уличные видеокамеры, сообщают государственные СМИ. Таким образом, по темпам интеграции Москва не отстаёт от Китая.
Подрядчика для внедрения распознавания лиц выберут на тендере. Один из претендентов — компания NTechLab и технология FindFace, с которой проводился эксперимент полтора года назад. Тогда эксперимент признали успешным.
Кроме неё, в тендере участвует IVA Cognitive и несколько других компаний. «Осталось несколько претендентов, в том числе мы. Возможно, выберут одного или организуют что-то вроде консорциума из нескольких компаний. Поделят камеры и посмотрят, кто как справляется. Таким образом, сохранится конкуренция, технология будет развиваться», — рассказал Алексей Цессарский, генеральный директор компании IVA Cognitive, разрабатывающей систему видеоаналитики IVA CV.
Артём Кухаренко, основатель компании NtechLab, говорит, что в текущих настройках вероятность ложных срабатывания системы — 0,00001%, то есть один на десять миллионов. Цессарский приводит оценку точности до 99% (о путанице в метриках и некорректном использовании терминов читайте статью «Правда и ложь систем распознавания лиц»).
На самом деле все параметры регулируются. Если мы хотим минимизировать количество ложноположительных срабатываний, то у нас будет много ложноотрицательных, то есть система будет пропускать (не узнавать) многих реальных преступников. И наоборот, если мы хотим на 100% распознавать всех преступников, то есть минимизировать количество ложноотрицательных ошибок, то неизбежно вместе с преступниками задержим множество невиновных граждан за счёт максимизации ложноположительных ошибок. Разумеется, для городских систем видеонаблюдения предпочтительнее первый вариант.
Турникеты на станции метро «Октябрьское Поле» в Москве подключены к системе распознавания лиц. Фото: РИА Новости / Евгений Одиноков
Технологию распознавания проверили во время чемпионата мира по футболу, где она «помогла задержать более ста правонарушителей, раскрыть кражу спонсорского кубка и предотвратить давку в одной из фанзон». Кроме того, эксперименты проходили на Казанском вокзале Москвы, на стадионе «Петровский» в Санкт-Петербурге. В начале 2018 года пилотный проект по тестированию системы распознавания лиц запустили и в Домодедово. Похожие системы действуют в Альметьевске (Татарстан) и других городах. В Татарстане в прошлом году с помощью системы видеонаблюдения раскрыли 1971 преступление.
По данным PwC, в Москве плотность видеокамер составляет 54,6 штуки на квадратный километр. И Москва стала одним из первых мегаполисов, который внедряет систему распознавания лиц в городской сети видеонаблюдения.
«Технологии анализа видеопотока активно применяются в рамках концепции „умный город” по всему миру, этот рынок постоянно растет. Москва не просто оказалась в тренде, а показала себя суперпрогрессивной столицей — с точки зрения как масштаба, так и уровня решений», — говорил в 2017 году генеральный директор NTechLab Михаил Иванов. Наверное, эта оценка актуальна и сегодня.
Закон Яровой для «человеческого трафика»
После интеграции всех уличных камер в единую сеть эффективность работы системы значительно увеличится: «Видеопоток со всех подключенных камер анализируется, лица распознаются и сохраняются некоторое время в базе. Далее фото человека из списка разыскиваемых загружается в систему и выполняется поиск среди накопленной истории, — объяснил Цессарский один из сценариев работы системы. — Программа показывает, какие камеры и когда видели этого человека. Можно восстановить его маршрут, определить, где и когда он был в последний раз, загрузить видео оттуда и посмотреть, что он там делал». По другому сценарию, система в реальном времени сравнивает картинку со всех видеокамер с фотографиями из базы — и в случае положительного срабатывания в полицию поступает мгновенное уведомление.
Как видим, первый сценарий представляет собой некое подобие закона Яровой, только в применении к передвижениям «человеческого трафика».
До конца текущего года в Москве будет работать более 174 000 камер. Сеть видеонаблюдения объединяет подъездные видеокамеры (95% подъездов жилых домов в столице), камеры на территории и в зданиях школ и детских садов, на станциях МЦК, стадионах, остановках общественного транспорта и автовокзалах, в парках, подземных переходах, сообщает официальный портал мэра и правительства Москвы. «Внедрение видеоаналитики является мощным драйвером повышения эффективности как частных, так и городских систем видеонаблюдения. У жителей города появился дополнительный уровень защиты, — заявил руководитель Департамента информационных технологий Москвы Артём Ермолаев. — Разумеется, все эти возможности должны внедряться очень ответственно. Наш приоритет — баланс между конфиденциальностью и безопасностью, и мы придерживаемся строгой внутренней политики контроля, гарантирующей соблюдение прав граждан».
«Установка в каком-то районе города камер наблюдений уменьшает количество преступлений на 20% или даже 40%, — говорит Алексей Цессарский. Все зависит от того, насколько криминогенной была обстановка. Если человек знает, что его распознают на видео и найдут, он дважды подумает, прежде чем решится на правонарушение».
Распознавание лиц людей по всему городу предоставляет уникальные возможности сотрудникам правоохранительных органов. Они могут ввести в поиск фотографию человека — и узнать, где он сейчас находится, по какому маршруту передвигается и т.д.
Пример идентификации
Программное обеспечение NTechLab использует нейросети и машинное обучение. Именно эта фирма разработала известное приложение FindFace. В своё время СМИ облетели несколько историй об этом сервисе, который быстро узнаёт личность почти любого прохожего, достаточно сделать его фото и загрузить в приложение на смартфоне. Программу использовали даже для деанонимизации российских порноактрис — по кадрам из фильмов пользователи находили этих девушек в социальных сетях, устанавливая личность по школьным фотографиям и т.д.
Правоохранительные органы могут провернуть этот фокус и сейчас, но уже не по фотографиям из социальных сетей, а в целой системе видеонаблюдения Москвы. Эффективность нейросети NTechLab подтверждена независимыми сравнительными тестами систем распознавания лиц, которые проводили Министерство торговли США и Вашингтонский университет (конкурс FaceScrub). «Наша технология считается лучшей в мире по качеству работы с самой сложной по метрике NIST базой изображений wild exploration. Она включает фото людей, снятые в стихийных условиях и с разным разрешением, причём лица могут быть частично закрыты», — пояснил основатель NTechLab Арт`м Кухаренко.
Но в камерах видеонаблюдения точность распознавания гораздо ниже, чем в тестах: «Камеры городского видеонаблюдения динамические: они двигаются вправо-влево, приближаются и удаляются. В таких условиях добиться даже распознавания 60–70% изображений крайне сложно. Результат в 30% уже космический», — говорил Артём Ермолаев в комментарии для РБК полтора года назад.
Демо-зона Городской системы видеонаблюдения Москвы в павильоне «Умный город» на ВДНХ
По его словам, мощности системы пока не хватает для тотальной слежки и распознавания всех горожан в реальном времени. То есть система не может составлять пофамильные списки всех, кто входит в каждый подъезд каждого дома: для этого требуется слишком много ресурсов. Пока что она может только найти на всех видеокамерах отдельных людей, чьи лица загружены в базу данных.
В 2017 году Артём Ермолаев сказал, что московское правительство тратит около 5 млрд руб ($86 млн) в год на поддержание системы видеонаблюдения, а если к системе распознавания лиц подключить все 170 000 камер, то эта сумма утроится.
Видео с камер передаётся в единый центр хранения и обработки данных (ЕЦХД) и хранится пять суток.
Анализ поведения и социальный рейтинг
Кроме распознавания лиц, сейчас актуальной задачей разработчиков является анализ жестов, поз. Это позволит оценить намерения группы людей и предотвратить опасную ситуацию.
По словам Кухаренко, если использовать вместе несколько сценариев — поиск лиц в розыске, подсчёт людей и оценку поведения — это выведет безопасность массовых мероприятий на принципиально новый уровень. Кроме того, в будущем это открывает двери для полноценной меритократии.
Например, в Китае сейчас разворачивают общенациональную систему социального кредита — каждый гражданин получает определённый рейтинг, в зависимости от своих действий в обществе. Хорошие, добропорядочные и честные граждане будут иметь высокий социальный рейтинг. Вороватые, эгоистичные граждане — низкий рейтинг, если они не делают ничего хорошего для общества.
От социального рейтинга зависит, насколько этому человеку можно доверять, можно ли ему выдавать вещи в прокат без залога, кредит на большую сумму и т. д. Если человек совершает преступление — от его социального рейтинга отнимают определённое количество баллов. Если перевёл бабушку через дорогу — начисляют дополнительные баллы. Люди с высоким социальным рейтингом — умные, добрые и всеми любимые граждане — получат почёт, уважение, спецобслуживание в общественных учреждениях и т.д.
В сентябре 2016 года правительство Китая опубликовало уточнённый перечень санкций, которым будут подвергаться обладатели низких рейтингов:
Система тотального видеонаблюдения с распознаванием лиц может органически вписаться в концепцию социального рейтинга. Постоянно отслеживая все действия каждого человека, система может автоматически оценивать эти действия — и изменять социальный рейтинг каждого человека в реальном режиме времени. Разумеется, ради высокого рейтинга человеку придётся частично пожертвовать своей приватностью, отказаться от ношения чёрных очков, кепок и других маскирующих элементов одежды.
Злоупотребления
Контролирующие органы должны внимательно следить, чтобы система не использовалась для злоупотреблений. Наверняка найдётся много желающих использовать этот мощный инструмент в личных целях: проследить за своей женой, девушкой или любым другим произвольным человеком, который не совершил никакого преступления (как развлекались агенты АНБ, просматривая фотографии с веб-камер невинных девушек). Вероятно, доступ к распознаванию лиц должен быть строго ограничен: только для конкретных единичных операций по судебному ордеру.
Сейчас доступ к системе городского наблюдения имеют около 16 тыс. пользователей — это сотрудники правоохранительных органов, государственных и муниципальных организаций. 10 тыс. сотрудников органов исполнительной власти и 6 тыс. представителей правоохранительных органов могут просматривать видео в реальном времени и изучать архивы записей на рабочих местах и с мобильных устройств. У каждого из них свой уровень доступа, что «позволяет сохранить конфиденциальность жителей города», сказали в департаменте информационных технологий Москвы.
Насколько качественно сохраняется конфиденциальность граждан РФ — хорошо видно по активности на форумах, где происходит торговля персональными данными россиян.
Любой желающий может заказать пробив данных владельца по номеру телефона: ФИО, паспортные данные, адрес. Можно купить отслеживание местоположения человека по вышкам сотовой связи, история местоположений, детализация звонков, детализацию SMS. Продаётся информация из государственных баз «Магистраль», «Сирена», «Граница», «Мигрант», «Кронос», «Спарк», «Поток», комплексных баз ИБДР-ИБДФ, подробные выписки из банков по счетам физлиц и юрлиц, и так далее.
Большой брат (пока) подслеповат
Полагаю, прямо на наших глазах разворачивается переход между второй и третьей стадиями принятия неизбежного (гнев и торг) по поводу повсеместно установленных умных камер, чья функция заключается в устранении последних следов приватности в общественных местах.
Распознавание лиц и биометрия — лишь частные случаи более обширных разработок в области машинного зрения, но именно эти аспекты воспринимаются максимально болезненно, поскольку человека угнетает повсеместная слежка.
Я заинтересовался состязательными нейронными сетями, когда глубокой осенью 2018 года прочел статью «Do neural nets dream of electric sheep?» («Снятся ли нейронным сетям электроовцы»)? Автор проанализировала несколько примеров, где нейронка изрядно озадачивается, обнаружив овец в необычном сеттинге. Особенно интересен следующий пример:
Как видите, и NeuralTalk2, и Azure «мыслят стереотипно»: в датасетах, на которых они обучались, овцы не лазали по деревьям, поэтому одна сеть увидела здесь «стаю крупных белых птиц», а другая «стадо жирафов». В другом примере подобных атак на алгоритмы компьютерного зрения (такие примеры называются «состязательными») обнаруживается, что даже небольшой поворот изображения сбивает нейронную сеть с толку:
Револьвер превращается в мышеловку, лодочная станция – в гильотину, а сервант с фарфором – в прожектор. Причем, в примере с сервантом мне даже удается посмотреть на эту ошибку «глазами нейронки», но остальные ее ошибки понять не получается.
Попытки эксплуатации аналогичных уязвимостей при распознавании лиц активизировались в 2019 году после манифестаций в Гонконге, когда стало понятно, что маскировка эффективнее брутфорса (протестующие пытались громить умные камеры). Последовавшая вскоре эпидемия COVID-19 и масочный режим вновь подстегнули такие исследования и, в частности, показали, что маска – плохая защита от нейронки. Лицо человека имеет характерную форму (скулы) и симметрию, кроме того, легко выявляется по симметричным и при этом блестящим глазам. На Хабре публиковался перевод интересного исследования о том, легко ли обмануть алгоритм распознавания лиц при помощи медицинской маски (спойлер: нет).
Обнаружение и распознавание лиц
Для начала разграничим две эти задачи – на самом деле, они сильно отличаются по сложности. Для обнаружения лица (1) достаточно, чтобы программа выявляла на картинке овал, а на нем – два глаза. Но для того, чтобы убедиться, что это именно человеческое лицо, а тем более распознать его, требуется гораздо более скрупулезный анализ характерных точек. Далее коротко расскажу о градиентной маскировочной маске, описанной в статье Брюса Макдональда.
Таким образом, алгоритм распознавания лица учитывает положение сразу множества легко идентифицируемых точек: зрачка, радужки, мочек ушей, уголков губ, кончика носа, скул – а также расстояния между этими точками. Поэтому обычная медицинская маска – не лучшая маскировка. Она не закрывает глаз, не закрывает ушных мочек; общая симметрия лица также сохраняется. Но в 2019 году, до повсеместного распространения масочного режима, антинадзорная градиентная маска была по-настоящему интересной находкой:
Программа на Python (исходный код) создает градиентный узор/шум (так называемые «гистограммы направленных градиентов»), распределяющий линии и продолговатые фигуры таким образом, что они кажутся камере видеонаблюдения набором схематически очерченных лиц. Обратите внимание на имитацию глаз и бровей. Методом Q-обучения автор также нашел такой вариант замощения маски этими группами характерных точек, при котором «лица» выглядят разупорядоченно и тем более осложняют опознание носителя маски:
По-видимому, такой антинадзорный узор действительно эффективен для обмана простого приложения вроде Snapchat или камеры видеонаблюдения. Тем не менее, эпидемия внесла коррективы в работу компьютерного зрения: теперь алгоритмы целенаправленно тренируют на распознавание лица в маске. Так, на Хабре в корпоративном блоге «Productivity Inside» была переведена статья Томаса Смита, который попытался обмануть приложение Face++. Эта программа не только распознает лица, но и сравнивает лица, отснятые в разных условиях, чтобы проверить, принадлежит ли лицо с обоих кадров одному и тому же человеку.
Именно на уничтожении лицевой симметрии сосредоточен макияж-камуфляж по технологии CV Dazzle, разработанный Адамом Харви. Поскольку алгоритмы распознавания анализируют свыше 60 ключевых точек на лице, одного лишь макияжа недостаточно: слишком велика избыточность алгоритма. Зато помогают накладные волосы, шиньоны и скрывание хотя бы одного глаза. Полностью приведу здесь советы по стилю CV Dazzle:
Макияж: Избегайте тональных кремов. Они только подчеркивают ключевые точки лица. Вместо этого применяйте макияж, который придает лицу необычную контрастность как по цвету, так и по сочетанию: светлые тона на темной коже и темные пятна на светлой.
Переносица: Нужно частично закрыть область переносицы. При распознавании лиц наиболее важен тот регион, где сходятся лоб, нос и глаза. Мера особенно эффективна против алгоритма обнаружения лица из OpenCV.
Глаза: Частично закройте одну или обе глазницы. Симметричное положение и темный цвет глаз – ключевые признаки, выдающие лицо.
Маски: вместо скрывания лица маской меняйте контраст, тональные градиенты, а также пространственные сочетания темных и светлых областей на лице: для этого меняйте прическу, макияж, надевайте необычные украшения.
Голова: Исследование Ранрана Фэня и Балакришнана Прабхакарана из Техасского Университета показало, что запутать алгоритм распознавания лиц можно, скрыв эллиптические очертания головы. В качестве камуфляжа подойдут прически, водолазки и другие украшения, скрывающие эллиптическую форму лица.
Асимметрия: алгоритмы обнаружения лица учитывают симметрию между левой и правой стороной лица. Выбирая асимметричный образ, эти алгоритмы можно обмануть.
Здесь находим одно принципиальное пересечение с опытом Томаса Смита: скрываем глаза. Смит сделал это, надев черные очки. Также было бы удобно разрушить симметрию, скрыв один глаз:
Тем не менее, подобный камуфляж – пиррова победа, поскольку он делает человека малозаметным для камер, зато крайне заметным для человека. Менее броский вариант антинадзорной маскировки был придуман в 2017 году; его предложил инженер Яндекса Григорий Бакунов @bobuk. Его макияж для защиты от распознавания лиц делается при помощи блестящих полос и точек; показал себя особенно эффективным, чтобы сбивать с толку биометрию. То есть, макияж Бакунова не столько мешает камере распознать лицо – как вы помните из вышеприведенных примеров, камера вполне обнаружит лицо по ключевым точкам – сколько затрудняет опознание человека.
По словам Бакунова, проект был свернут после получения первых положительных результатов, так как технология легко может быть использована во зло. Но она подсвечивает еще одну важную уязвимость: алгоритмы распознавания лиц настолько полагаются на симметрию глаз, что их можно ловить как раз на этом. Китайские ученые показали, что устройство Apple, открывающееся по идентификации лица пользователя (FaceID) легко обмануть, надев на спящего обладателя устройства очки, на которые на месте зрачков наклеены две черные точки. FaceID распознает лицо по ключевым точкам, а зрачки как таковые не распознает – ему достаточно характерной глазной симметрии и двух черных точек на месте зрачков.
Таким образом, чтобы обмануть видеонаблюдение, важнее скрывать симметрию области глаз; темные очки из опыта Смита — более эффективная маскировка, чем медицинская маска. Что касается опытов Бакунова, их успешность могла быть связана со сравнительным несовершенством технологий распознавания в 2017 году. Если система все-таки вычленит в толпе лицо, сопоставить его с фото в базе – дело техники.
Кепка-невидимка
Уже в опытах Харви отмечалось, что распознавание лица значительно усложняет шляпа с полями. Шляпа – простейшее устройство, корректирующее отражательную заметность глаз; то есть, поля частично блокируют как свет, попадающий в глаза, так и отраженный от глаза свет. Еще недавно шляпа была всеобщим мужским аксессуаром, в ней человек не выделялся в толпе. Поэтому данное направление исследований кажется предпочтительнее, чем макияж-камуфляж. Первое достижение в этой области – инфракрасная кепка:
Подобное устройство используется для «атаки с невидимой маской» IMA. На рынке доступны дешевые светодиоды, испускающие инфракрасное излучение с длиной волны 850 или 940 нм. Такой свет неразличим для человека, но отлично захватывается камерами видеонаблюдения. Такая камера раскладывает «увиденное» лицо на цветовые каналы R, G и B, и при этом весь инфраскрасный свет попадает в канал R, сильнейшим образом искажая картинку. Такие светодиоды под козырьком кепки практически не заметны, питание для них также требуется минимальное (по данным авторов, аккумулятор 18650 может поддерживать светодиод не менее двух часов).
Извлечение лица из последовательности видеокадров и сравнение найденного лица с фотографией из базы данных осуществляется методом «Face embedding» (встраивание лица). Лицо извлекается со множества кадров видео, эти данные преобразуются в векторы, после чего сравниваются с фотографией человека, которая может быть преобразована в такой же вектор. Инфракрасная кепка позволяет сорвать этот процесс уже на самом первом этапе, то есть, не дает вычленить лицо в толпе.
Эффективность такой кепки должна снижаться при ярком естественном освещении, а также, скорее всего, легко нивелируется при встраивании в камеру видеонаблюдения такого режима, который позволяли бы ей отсекать весь инфракрасный спектр, либо интерпретировать его как красный. Кроме того, светодиоды вполне могут быстро посадить зрение: пусть человек и не воспринимает инфракрасного излучения, в данном случае прямо вам в глаз светит яркая лампочка, выжигающая вам сетчатку.
Заключение
Системы распознавания лиц и биометрия развиваются параллельно с цифровизацией человеческих учетных данных и, в сущности, противодействовать этому технологическому вектору очень сложно. Я полагаю, что подобные «состязательные» разработки для обмана идентифицирующих устройств рано или поздно будут криминализованы, но сам пока на биометрию переходить не собираюсь. В моем втором блоге на Хабре (куда вынес технические переводы) я недавно публиковал статью о том, что глубокое обучение уже упирается в пределы своих технических возможностей, поэтому до изобретения принципиально новых алгоритмов окончательная победа над подобными обманными приемами может быть еще далека. Предположу, что здесь мы скорее увидим гораздо более опасные атаки, когда злоумышленник научится виртуально накладывать на лицо преступника лицо другого человека, чтобы на пленке засветился невиновный человек, и можно было попытаться таким образом создать преступнику алиби. Либо могу представить дальнейшую миниатюризацию инфракрасных маячков, встраивание их в пирсинг, серьги или в контактные линзы. Макияж-камуфляж, вероятно, останется в истории подобной маскировки лишь первым и относительно «дешевым» шагом, который, однако, подсказал принципиально важные идеи и уязвимости для поборников приватности.
Как работает распознавание лиц и можно ли обмануть эту систему
Что такое распознавание лиц?
Распознавание лиц — это технология, которая позволяет автоматически идентифицировать (распознать, кто на фото) или верифицировать (подтвердить, что на фото именно этот человек) человека на фото, видео или вживую. Для распознавания используют нейросети, которые умеют считывать и анализировать уникальные черты человеческого лица, а затем сверять их с базой.
Об эксперте: Татьяна Гайнцева, преподаватель Deep Learning School (МФТИ), автор блога об искусственном интеллекте и нейронных сетях.
Как развивалась технология распознавания лиц
Как работает распознавание лиц?
В основе технологии — две нейросети:
Первая — сеть-«выравниватель» (англ. aligner). Она берет картинку, которая поступает с камеры наблюдения, детектирует на ней все лица, которые сможет найти, «вырезает» и «выравнивает» их.
Вот как это выглядит:
Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).
Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.
Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.
Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.
Вторая — сеть-«распознаватель». Она принимает на входе выровненное изображение, которое передала первая нейросеть, а на выходе выдает вектор лица — то есть, набор чисел фиксированной длины. У разных сетей эти векторы могут отличаться, но чаще всего это некая степень двойки. Например, 512:
На похожие лица сеть выдает похожие векторы и наоборот.
Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.
Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.
Технология Face ID в смартфонах устроена немного иначе. Алгоритм распознает вас не по фото, а с помощью инфракрасных точек, которые проецируются на ваше лицо через камеру. После этого создается трехмерная модель и сравнивается с той, что вы уже внесли ранее.
Где применяют распознавание лиц?
💣 Безопасность
Криминалисты, полиция и спецслужбы используют автоматизированные системы биометрической идентификации (ABIS) для поиска преступников, доказательства преступлений и их предотвращения — например, терактов или мошенничества с документами.
Камеры с распознаванием лиц применяют для обеспечения безопасности на массовых мероприятиях, для прохождения контроля в аэропортах, контроля доступа в различных организациях. Системы помогают находить пропавших детей, дезориентированных взрослых или людей, которых держат в рабстве.
💊 Здравоохранение и медицина
Распознавание лиц в больницах и домах престарелых помогает отслеживать, принимают ли пациенты лекарства и следить за их состоянием через специальный монитор. Нейросети даже умеют обнаруживать по лицу генетические заболевания по характерным признакам на лице — такие, как синдром Ди Джорджи, — и оценивать общее состояние пациента.
🍕 Ретейл, общепит и банки
Технология распознавания лиц помогает идентифицировать клиента и предотвратить мошенничество во время покупки в магазине, анализировать поведение покупателей и оптимизировать сервис так, чтобы продавать больше.
С помощью онлайн-биометрии можно открыть счет и получить кредит, а также снять деньги в банкомате. Например, в Китайском KFC и американском Amazon Go действует «оплата по лицу». В России биометрию планируют внедрить во всех крупнейших банках вместо обычной идентификации.
Еще одно перспективное направление — распознавание эмоций. Например, чтобы улучшить взаимодействие с клиентами и сотрудниками, работая онлайн, или анализировать, как пользователи реагируют на контент. В России подобными разработками занимается компания Neurodata Lab.
📚 Образование
Сервисы на базе распознавания лиц помогают во время онлайн-обучения: следят, чтобы ученик не отвлекался во время экзамена, не списывал и не пользовался устными подсказками.
Самые продвинутые разработки в этой области
Самые масштабные разработки в области распознавания лиц — у Google, Apple, Facebook, Amazon и Microsoft (GAFAM).
В 2014 году Facebook запустил сервис DeepFace, который определяет, принадлежат ли два сфотографированных лица одному и тому же человеку с точностью 97,25%.
В 2015 Google представила свою разработку — FaceNet. Благодаря огромному массиву данных, которые собирают сервисы Google, FaceNet достигла рекордной точности — 99,63%. Технологию, в частности, используют в Google Фото для сортировки изображений и автоматических отметок людей на них.
Amazon с 2018 года активно продвигает свой облачный сервис распознавания лиц под названием Rekognition, которым пользуются правоохранительные органы США. Система умеет распознавать до 100 человек на одном фото и искать их в базах данных, содержащих десятки миллионов лиц.
По данным Центра стратегических и международных исследований, а также Управления по науке и технологиям МВД США, лучшим решением в 2020 году было признано FRT: его точность распознавания составила 99,97%.
В России есть пять крупных игроков на рынке распознавания лиц:
NTechLab — разработчик нашумевшего приложения FindFace, которое использовали для поиска людей во «ВКонтакте» по фото. Сервис неоднократно оказывался в центре скандалов с нарушением приватности. Максимальная точность их алгоритмов для распознавания лиц — 99%. Компания также выступила подрядчиком для внедрения камер с распознаванием лиц в Москве.
Второй подрядчик московских властей в этой области — VisionLabs. Они также разрабатывали системы для московских камер и участвовали в других городских проектах. С недавних пор VisionLab стала частью экосистемы «Сбера», и теперь их разработки применяют, в том числе, для внедрения биометрии в банковских сервисах.
Группа ЦРТ в 2014 году первой внедрила систему распознавания лиц в спорте. Ее решения используются на стадионах «Газпром-Арена», «ВТБ-Арена» и других.
Что не так с распознаванием лиц в Москве?
В Москве действует одна из крупнейших в мире сетей с распознаванием лиц — более 200 тыс. камер общей стоимостью около 5 млрд руб.
Российскую технологию NTechLab признали лучшей в результате тестирования Национального института стандартов и технологий США. NTechLab вели совместные разработки с Genetec — поставщиком систем видеонаблюдения для американского правительства и спецслужб.
Систему для Москвы начали разрабатывать еще в 2015 году, а пилотный проект запустили в 2017-м: тогда это были 1,5 тыс. камер во дворах и подъездах. В 2018-м систему расширили, протестировав на чемпионате мира по футболу. Камеры помогли задержать около 100 нарушителей из базы уголовного розыска. В том же году с помощью камеры с распознаванием лиц задержали грабителя, находящегося в розыске МВД.
Московскую систему видеонаблюдения использовали во время пандемии в 2020 году. С ее помощью выявили более 200 нарушителей карантина и самоизоляции, которым пришлось выплатить штрафы.
Правозащитники указывают на опасность технологии для обычных граждан. Например, юрист Алена Попова неоднократно подавала иски к управлению МВД Москвы и московскому Департаменту информационных технологий с требованием запретить систему распознавания лиц на митингах.
Распознавание лиц и правда используют на митингах?
В феврале 2021-го появилась информация о том, что с помощью камер власти отслеживали участников митингов в Москве и привлекали их к ответственности. Полицейские останавливали людей на входе в метро или приходили к ним домой. Такое бывало и в других странах.
Во время протестов в Гонконге 2019-20 годов власти тоже использовали распознавание лиц, чтобы вычислять активистов. Для борьбы с этим протестующие использовали лазерные указки, маски с чужими лицами и проекторы для лица, а также громили столбы с камерами.
По мнению оппозиции, для распознавания используют программу Face++ от китайского стартапа Megvii. Эта система, предположительно, попала в черный список властей США за нарушение прав человека.
Еще один недавний пример — сайт Faces of the Riot, созданный студентом из Вашингтона. Он использовал приложение с открытым исходным кодом, чтобы извлечь лица из 827 видео, размещенных в соцсети Parler во время штурма Капитолия 6 января 2021 года. Затем он применил нейросеть для распознавания лиц, обученную на 200 тыс. фото из базы ФБР, и идентифицировал людей.
Какие еще проблемы есть у технологии сегодня?
👁️🗨️ Утечки. В данном случае в сеть утекают доступы к камерам наблюдения и результатам распознавания. За деньги можно проверить по фотографии, где и когда камеры засекли конкретного человека.
🤦 Ошибки в распознавании. В 2018 году технология распознавания лиц от Amazon ошибочно опознала 28 членов Конгресса США как преступников. Недавний пример — москвич Сергей Межуев, которого система распознавания лиц в метро ошибочно приняла за преступника в розыске. В итоге мужчину задержали, собрали все данные и не сняли подозрения, пока реальный подозреваемый не нашелся.
❌ Использование лиц без согласия. В США до недавнего времени для обучения нейросетей распознаванию лиц использовали датасеты с лицами из открытых источников. Готовые датасеты тоже были в открытом доступе. Однако сейчас их убрали, так как это нарушает законы о защите персональных данных. Теперь доступ к ним можно получить по запросу и только для исследовательских (некоммерческих) целей.
The New York Times опубликовала расследование, согласно которому система распознавания лиц ClearView использует фото из Facebook и Twitter, чтобы помогать полиции находить людей. Аналогичные претензии были и к NtechLab: у компании был доступ к фото пользователей в «ВКонтакте».
😠 Дискриминация и расизм. Для обучения нейросетей используют датасеты, которые содержат, в основном, фото людей титульной нации и расы. В итоге системы распознавания лиц плохо распознают азиатов, латиноамериканцев или афроамериканцев. Системы, которые используют в криминалистике, чаще указывают на чернокожих людей как на потенциальных преступников.
Исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.
Есть примеры дискриминации по полу: например, нейросеть, которая дорисовывает женским фото тело в бикини, а мужским — в костюме. Просто потому, что в сети большинство изображений именно такие.
👮 Использование технологии для манипуляции людьми. Оказавшись в руках властей, системы с распознаванием лиц вместе с базами персональных данных дают неограниченные возможности. Самый радикальный пример того, к чему это может привести — Китай.
Распознавание лиц в Китае: социальная антиутопия
В Китае распознавание лиц используют в полиции, аэропортах, на улицах, в общественном транспорте. Государство планирует распространить систему по всей стране: по данным CNBC, в конце 2018 года в Китае использовали более 200 млн камер наблюдения, а к концу 2021-го их число достигнет более 500 млн.
Одна из главных причин — внедрение системы социального рейтинга или кредита. Каждый гражданин страны получает положительные баллы за общественно-полезную деятельность, отсутствие нарушений, своевременную уплату налогов. За проступки баллы снимаются. Низкий или отрицательный рейтинг влечет разные последствия: отказ в выдаче кредита и социальных выплатах, запрет на вылет из страны и работу в определенных организациях.
Также при помощи этой технологии правительство Китая следит за представителями уйгурского этнического меньшинства. Сотни тысяч уйгуров поместили в города-гетто и лагеря для политзаключенных и всячески ограничивают их в перемещении.
Можно ли обмануть систему распознавания лиц?
Чтобы бороться с «умными» камерами, в ход идут специальные маски, проекторы, лазеры и другие приемы:
Однако все эти способы вряд ли помогут. Во-первых, мы до конца не знаем, по каким именно приметам нейросети распознают лица. Во-вторых, алгоритмы обучают по разным схемам и на разных датасетах. Чтобы их обмануть, нужно точно знать, как устроена конкретная нейросеть.
Можно, конечно, полностью скрыть лицо в публичных местах и на массовых мероприятиях. Но во многих странах — включая Россию и Китай — это запрещено законом.
Есть способы, которые помогают изменить уже готовые фото. Например, компания Generated Media создала Anonymizer: приложение, которое генерирует серию портретов на основе ваших фото и делает их неузнаваемыми для нейросетей.
Можно использовать специальную маску. К примеру, возьмем фото, на котором нейросеть опознала актрису Еву Лонгорию и немного изменим его:
Слева — исходное фото, справа — маска, наложенная на него, посредине — результат. Теперь алгоритм его не узнает, хотя для нас очевидно, что это та же самая женщина. Но и этот способ можно применить только если у вас есть доступ к архитектуре нейросети.
Как регулируют распознавание лиц в разных странах?
В ЕС и Великобритании действует самый жесткий регламент по защите данных — GDPR. Он запрещает любое посягательство на личную жизнь человека со стороны частных компаний и госорганов без его согласия. Это касается и систем распознавания лиц.
В США нет единого закона, который бы регулировал использование технологии. Ближе всех к европейскому GDPR по сути стоит Закон о конфиденциальности потребителей в Калифорнии (CCPA). В некоторых штатах действуют ограничения для полиции и других органов — например, в Орегоне, Вашингтоне, Техасе, Иллинойсе, Массачусетсе, Вермонте.
ИТ-корпорации настаивают на принятии законов на федеральном уровне. В 2020 году IBM объявила о прекращении продаж своих продуктов для распознавания лиц. Вслед за ними Amazon и Microsoft временно приостановили сотрудничество с госорганами в этой области. А в июле правозащитники из ACLU подали иск против ClearviewAI за нарушение закона штата Иллинойс о конфиденциальности биометрической информации.
В Китае распознавание лиц используют повсеместно, и у госорганов есть неограниченные возможности по применению технологии. С недавних пор биометрия является обязательной даже при регистрации телефонного номера.
В России есть закон о защите персональных данных. Но он направлен, в первую очередь, на сохранность самих данных: их необходимо защищать, чтобы предотвратить утечки. Права самих граждан, чьи данные используются, никак не защищены. Безопасность биометрических данных в частной сфере пока не регулируется, но у властей с 2019 года есть право использовать распознавание лиц без согласия граждан.
Какое будущее у этой технологии?
Эксперты считают, что в ближайшие пару лет распознавание лиц окончательно станет массовой технологией. Ее будут применять в «умных» и обычных гаджетах, для идентификации и оплаты, прохода в офисы и регистрации в аэропорту, а также для доступа к онлайн-сервисам и аккаунтам в соцсетях. В течение 15-20 лет мы полностью перейдем на биометрические паспорта. А вот обмануть алгоритмы или укрыться от камер с распознаванием лиц станет практически невозможно.
Это означает полную утрату приватности и частной жизни.