Как работает определение лицевых образов в смартфонах

Почему мы предпочитаем разблокирование по лицу

В последние годы определение лиц превратилось в одной из самых распространённых опций для разблокировки смартфонов. Еще некоторые лет ранее основная масса пользователей обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает данную возможность такой востребованной? Во-первых, это удобно: не нужно запоминать сложные пароли или находить верный палец в мраке. Во-вторых, это оперативно: современные системы распознают лицо практически за мгновение. В-третьем пункте, это ощущение футуризма — словно в фильмах про admiral x шпионов.

Тем не менее за такой видимой простотой прячется целый мир трудных техник и инженерных решений. Давайте разобраться, как именно функционирует фейсканирование в современных гаджетах, какие применяются способы, насколько они надёжны и что нас ожидает в будущем.

Короткая хроника прогресса инноваций

Идентификация лиц как технология имеется уже более пятидесяти лет. Первые эксперименты машинного изучения облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда компьютеры способны были лишь выделять очертания головы и определять расстояния между очами и губами на монохромных снимках.

Изначальные торговые системы стали доступны в 90-х, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с эволюцией нейронных сетей и таких платформ, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные решения.

Ключевые этапы функционирования системы определения

Процесс идентификации лица можно ориентировочно сегментировать на несколько важных этапов:

Распознавание лица — устройство определяет наличие человеческого образа в снимке.
Извлечение характеристик — алгоритм анализирует особенности облика: конфигурацию глаз, носа, уст, положение надбровных дуг.
Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — сформированный шаблон сопоставляется со записанной при внесении биометрической информацией владельца.
Принятие решения — если сходство достаточно значительное, смартфон открывается.

Всякий из этих стадий нуждается в особых процедур и оптимизаций для оперативной работы непосредственно на девайсе.

Технические элементы: что прячется внутри

Стандартная селфи камера.

Самый несложный метод определения облика задействует лишь переднюю камеру смартфона мобильного устройства. Данный метод внедрён во различных бюджетных моделях Android-устройств.

Достоинства:

Не нуждается в потребляет дополнительных сенсоров.
Шустро действует при хорошем свете.

Минусы:

Легко ввести в заблуждение фотографией или роликом.
Неудачно функционирует при низком свете или необычных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.

Как это работает:

Точечный проекционный прибор проецирует на облик пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
ИК устройство фиксирует искривление данной решетки по плоскости физиономии.
Получается 3D карта глубины глубины, которая почти неосуществима для подделки типичной фото или маской.

Плюсы

Надёжная деятельность даже в полной тьме.
Большая сопротивляемость к имитациям.
Точность распознавания свыше 99%.

Добавочные сенсорные устройства

В отдельных девайсах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют период распространения света до предмета и обратно; Цветные-датчики дальности; специальные оптические лидары для построения более точной 3D-модели лица.

Эти технологии встречаются наиболее часто во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: синтетический интеллект в работе

Текущие механизмы распознавания лиц неосуществимы в отсутствие эксплуатации artificial intelligence и machine learning. Именно благодаря таким разработкам, как адмирал х, аппарат в состоянии идентифицировать юзера даже при трансформациях внешнего вида: новая стрижка, щетина, очки или макияж не становятся барьером для деблокировки.

Детектирование лиц

На первом шаге программа должна быстро найти образ лица в пределах целого снимка с камеры. Для этого задействуются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN может находить облик даже в случае частичном закрытии (например, платком или ладонью).

Идентификация ключевых моментов

После распознавания лица устройство, такая как адмирал х, устанавливает положение основных точек: края глаз, конец носа, границы губ и так далее. Часто используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это действие необходимо для нормализации картинки: если юзер держит мобильник под наклоненным, или наклонил голову, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Создание биометрического идентификатора образца

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Такой образец очень затруднительно подделать: он не сохраняет само фото юзера, а лишь особенные особенности его облика, что делает его оптимальным для таких платформ, как admiral-x.

Сравнение и осуществление решения

Когда человек желает разлочить смартфон глазами, система воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Приспособление к трансформациям внешности

Интересная черта актуальных системы — возможность самообучения. Если вы постоянно разблокируете мобильное устройство с обновленной прической или оптикой, система постепенно освежает основной образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрии информации.

Многие пользователи опасаются хранить свои био-идентификационные данные на мобильном устройстве из-за угрозы утечки данных или хакерской атаки. Иные организации, такие как admiral-x, предоставляют варианты для улучшения сохранности информации клиентов.

Локальное сохранение: Основная часть девайсов хранит биометрические модели исключительно внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют гаджет и не доступны включая изготовителю.
Шифрование: Все информация хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Стоит подчеркнуть существенную подробность: если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие изготовители осуществляют защиту от автоматического разблокирования — например, просят открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды распознавания лиц на изображениях?

На сегодняшний день можно выделить определить 3 основных подхода к осуществлению этой задачи:

Программируемое 2D распознавание

Эксплуатируется только фронтальная видеокамера без экстра датчиков глубины. Такой метод наблюдается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; низкая затраты; оперативная функционирование при достаточном свете.
Минусы: просто одурачить фотографией; неустойчивая деятельность ночью; низкая охрана.

Техническое трёхмерное сканирование

Задействует инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надёжность; невозможно обмануть фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные методы с интеграцией ИИ

Задействуют комбинацию программных методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock последних версий, объединяют фронталку c инфракрасным сенсором движения Soli Radar для защиты от подделок жестами/масками/видеоэкранами посторонних устройств.

Примеры применения разнообразных методов

iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное плоское определение по фото фронталкой, так и сканер ириса глаза.
Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы защиты и неверные тревоги

Несмотря на замечательный прогресс техники за последние годы, совершенных системы пока не имеется:

Возможность подвоха: Недорогие мобильники без труда открываются качественной изображением владельца либо видео с экрана другого устройства.
Идентичные близнецы: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Метаморфозы внешности: Резкое снижение веса/увеличение массы тела, хирургические вмешательства либо повреждения иногда необходимы для обновления данных биометрии.
Условия записи: Сильная подсветка солнцем или же плотная затенение могут понизить точность распознавания признаков.

Здесь некоторые подсказок для надёжному использованию:

Для значимых операций всегда применяйте двухэтапную аутентификацию;
Не активируйте функцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку прошивку мобильного устройства для защиты от современных угроз;
Включайте функцию “Требовать раскрытых глаз” везде, где она есть.

В каких местах ещё используется технология за исключением смартфонов?

Пускай основная мысль данной статьи касается именно смартфонам и планшетам, стоит упомянуть о других сферах применения технологии:

Мониторинг входа в офисах и резиденциях;
Платёжные терминалы банков (“Face Pay”);
Виртуальные паспорта последнего типа;
Системы видеонаблюдения городских сервисов;
Автоматизация учёта присутствия учебных заведений/вузов;
Авторизация участников ПК/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Схожие программы развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом трансформируется технология в наше время?

Всякий год возникают новые идеи для улучшения качества деятельности систем идентификации лиц:

Увеличивается разрешение датчиков — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше риск погрешности;
Развиваются искусственные интеллекты — современные конструкции модели MobileNetV3 дают возможность скоростно обучаться дополнительным чертам внешности пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь смартфоны могут отличать настоящие анимированные облики от неподвижных снимков/маскировок по незаметным движениям кожи.
Синхронизация со смарт-гаджетами — интеллектуальные часы могут самостоятельно заблокировать смартфон, если обладатель ушёл далеко.
Проявляются гибридные механизмы — к примеру совмещающие аудио аутентификацию + облик + отпечаток пальца.

Вот, которые тренды особенно востребованы на сегодняшний день:

1) Уменьшение элементов

Компании намереваются минимизировать размер отверстия (“чёлки”) для датчики на дисплее за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на девайсе

Для повышения личной безопасности всё более обработки данных выполняется внутри устройства без передачи информации во внешний облачный сервис.

3) Упорядочивание стандартов

Google активно продвигает стандарт BiometricPrompt API, чтобы аналогичные площадки, как admiral x, и каждые Android-программы могли взаимодействовать с различными типами биометрии единообразно.

Что подобрать на сегодня?

Если вам всем нужна наивысшая безопасность информации, остановите выбор на топовые аппараты с вмонтированным ИК-излучателем или ToF-датчиком глубины.

iPhone всех новейших моделей
Huawei Companion/P серии
Mix Pro
Vivo X серии
Oppo Find Х линейки.

Если средства скромен – лучше предпочесть классическим средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную опцию комфорта.

Каким образом увеличить удобство функционирования опции?

Есть некоторые лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

Периодически меняйте свою изображение-шаблон, если сильно трансформируется внешность.
Не пренебрегайте протирать объектив передней камеры – пятна могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам запускает камеру если вы берёте его в руки.
При регистрационного процесса пытайтесь держать лицо неподвижно перед объектива исключая значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Перспективы прогресса инноваций

В скоро наступающие периоды можно предполагать появления полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + голос + походка + жесты рук!

Также вероятно возникновение современных способов обеспечения приватности – к примеру, динамическое корректировка цифрового образца после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее увлекательных техник нашего периода! Она делает взаимодействие со смартфоном комфортнее чем раньше, и такие программы, как admiral-x, могут значительно оптимизировать ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как устроена эта технология внутри, – сумеете более осмысленно подбирать свой очередной устройство!