Как работает идентификация лиц в мобильных устройствах

Для чего мы останавливаемся на разблокирование по лицевому распознаванию

В прошлые времена распознавание физиономий превратилось в одной из наиболее востребованных опций для деблокировки умных телефонов. Всего некоторые годков назад основная масса юзеров обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает данную возможность настолько популярной? Для начала, это практично: не нужно запоминать сложные пароли или находить верный палец в мраке. Также, это мгновенно: современные алгоритмы распознают лицо буквально за доли секунды. В-третьем пункте, это ощущение футуристичности — словно в фильмах про адмирал x шпионов.

Тем не менее за данной на первый взгляд несложностью прячется целый мир сложных технологий и инженерных решений. Давайте понять, как именно работает распознавание лиц в современных мобильных телефонах, какие бывают способы, насколько они безопасны и что нас ждёт впереди.

Краткая повествование прогресса техники

Идентификация лиц как методика существует уже более 50 лет. Первые пробы автоматизированного исследования лица были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь обозначать контуры лица и определять расстояния между очами и губами на ахроматических изображениях.

Первые торговые установки стали доступны в 90-х, но они были неидеальны: действовали неспешно и нередко ошибались. Только с прогрессом искусственных сетей и таких систем, как адмирал х, сильных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным распознаванием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Ключевые этапы действия устройства распознавания

Процесс распознавания лица можно ориентировочно разделить на несколько основных этапов:

1. Обнаружение лица — устройство распознает присутствие человеческого образа в снимке.
2. Выделение характеристик — механизм анализирует особенности физиономии: очертания глаз, носа, губ, расположение надбровных дуг.
3. Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с образцом — созданный модель сравнивается с зафиксированной при внесении биометрической сведениями владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон деблокируется.

Любой из данных стадий нуждается в специальных алгоритмов и улучшений для оперативной работы прямо на устройстве.

Технические элементы: что скрыто внутри них

Стандартная передняя камера.

Наиболее простой вариант распознавания физиономии использует только переднюю видеокамеру смартфона. Такой способ внедрён во различных доступных моделях Android-устройств.

Достоинства:

• Не нуждается в внешних датчиков.
• Шустро функционирует при достаточном свете.

Слабые стороны:

• Просто обмануть фотографией или видео.
• Неудачно функционирует при слабом свете или необычных ракурсах.

Инфракрасная камера и точечный проектор

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким способом это работает:

• Точечный проекционный прибор проецирует на лицо юзера невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
• ИК камера фиксирует искривление этой решетки по поверхности лица.
• Получается 3D карта глубинности, которая практически неосуществима для фальсификации типичной фотографией или маскировкой.

Преимущества

• Надёжная функционирование даже в полной неосвещённости.
• Большая защита к фальсификациям.
• Точность определения более 99%.

Дополнительные сенсорные устройства

В некоторых девайсах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют период прохождения света до объекта и обратно; Цветные-датчики дальности; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти технологии используются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: синтетический интеллект на работе

Современные устройства идентификации лиц немыслимы без применения искусственного интеллекта и machine learning. Именно из-за таким технологиям, как адмирал х, аппарат способно узнавать юзера даже при трансформациях облика: новая укладка, борода, оптика или косметика не становятся помехой для разблокировки.

Обнаружение лица

В начальном стадии алгоритм должна оперативно распознать образ лица внутри всего изображения с камеры. Для данной цели используются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать лицо даже с частичном закрытии (например, шалью или рукой).

Определение важных точек

После распознавания лица механизм, такая как адмирал х, устанавливает положение основных точек: уголки глаз, верхушка носа, края губ и так далее. Как правило применяется от 68 до 128 основных маркеров на лицевой поверхности.

Это требуется для нормализации изображения: если человек находится с телефон под углом, или наклонил головку, программа “выпрямляет” изображение до обычного угла для последующего изучения.

Построение биометрии образца

Далее нейронная сеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Этот формат крайне трудно имитировать: он не сохраняет само фото юзера, а лишь уникальные характеристики его облика, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и вынесение решения

В случае, когда человек намеревается разлочить телефон взором, программа воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Привыкание к изменениям внешнего вида

Увлекательная черта актуальных систем — способность самообучения. Если ты регулярно разблокируете телефон с свежей прической или очками, программа постепенно обновляет эталонный образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических данных данных.

Многие клиенты опасаются хранить свои биометрические идентификационные данные на мобильном устройстве из-за риска потери данных или хакерской атаки. Иные фирмы, такие как admiral-x, предоставляют методы для повышения безопасности сведений пользователей.

• Локальное хранение: Основная часть девайсов сохраняет био-идентификационные шаблоны лишь внутрь защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и закрыты даже создателю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Стоит отметить значимую подробность: если какой-то человек получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют меры безопасности от “слепого” разблокирования — например, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы распознавания лиц?

На сегодняшний день можно определить выделить 3 ключевых подхода к выполнению этой функции:

Софтверное плоское определение

Применяется только передняя камера без дополнительных датчиков дистанции. Подобный метод наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; низкая затраты; оперативная работа при достаточном свете.
Минусы: несложно одурачить снимком; нестабильная работа ночью; слабая защищенность.

Аппаратное объёмное оцифровка

Применяет инфракрасную камеру + проектор точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; нельзя обмануть фото/видео; стабильная функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Задействуют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК сенсором движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации применения различных техник

• iPhone модели X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское определение по фото фронтальной камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы безопасности и ошибочные тревоги

Несмотря на замечательный развитие технологий за недавние лет, идеальных систем пока не существует:

1. Вероятность мошенничества: Недорогие смартфоны просто доступны четкой фотографией хозяина либо видеозаписью с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
3. Трансформации облика: Внезапное утрата веса/набор веса, косметические процедуры или травмы иногда необходимы для повторной регистрации биометрии.
4. Условия фотографирования: Интенсивная подсветка солнечным светом либо плотная затенение могут понизить точность распознавания признаков.

Здесь несколько рекомендаций по надёжному эксплуатации:

• Для важных операций всегда применяйте двухэтапную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Регулярно обновляйте программное обеспечение телефона для защиты от современных угроз;
• Включайте настройку “Требовать открытых глаз” в тех местах, где она имеется.

В каких местах ещё применяется технологии кроме мобильных телефонов?

Пускай основная мысль нашей публикации посвящена в частности мобильным устройствам, следует отметить альтернативных областях использования технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные устройства банков (“Face Pay”);
• Виртуальные удостоверения личности современного поколения;
• Комплексы видеонаблюдения городских служб;
• Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
• Авторизация юзеров компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Схожие проекты осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется технический процесс в нынешнее время?

Каждый год возникают свежие концепции для усовершенствования качества функционирования систем лицевого распознавания:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше риск ошибки;
2. Развиваются нейросети — новейшие структуры вида MobileNetV3 обеспечивают возможность оперативно обучаться новым характеристикам внешности пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь смартфоны умеют различать подлинные анимированные лица от неподвижных фото/маскировок по мельчайшим движениям кожи.
4. Синхронизация со интеллектуальными приборами — смарт-часы могут авто блокировать мобильный телефон, если пользователь ушёл далеко.
5. Проявляются комбинированные системы — в частности совмещающие голосовую опознание + облик + дактилоскопический след.

Здесь, которые направления в особенности актуальны сейчас:

1) Уменьшение элементов

Компании намереваются сократить величину отверстия (“чёлки”) для сенсоры на экране за счёт встраивания компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения конфиденциальности всё более обработки данных выполняется на месте без отправки информации во внешний облачный сервис.

3) Унификация норм

Google активно пропагандирует эталон BiometricPrompt API, с целью чтобы подобные системы, как admiral x, и каждые Android-аппы могли работать с всеми формами биометрии единообразно.

Какое выбрать сегодня?

Когда тебе важна максимальная безопасность данных, подбирайте флагманские аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone каждого последних версий
• Huawei Partner/P линейки
• Mi Professional
• Vivo X серии
• Оппо Найти Х линейки.

Если средства невелик – лучше выбирать классическим способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную возможность удобства.

Каким образом увеличить комфорт использования опции?

Есть несколько лайфхаков для людей, кто уже применяет разблокировку по лицу:

1. Периодически обновляйте свою изображение-шаблон, если сильно изменяется внешность.
2. Не пренебрегайте очищать объектив передней камеры – пятна могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру если вы берёте его в руки.
4. Во время регистрационного процесса старайтесь держать лицевую часть прямо впереди видеоустройства не допуская значительного наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от экрана.

Будущее эволюции техники

В ближайшие периоды можно предполагать появления полностью дистанционных способов распознавания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + походка + манипуляции руками!

Также возможно появление современных способов обеспечения личной информации – например, динамическое модификация цифрового образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных технологий нашего времени! Она обеспечивает интеракцию со телефоном комфортнее чем до этого, и такие приложения, как admiral-x, могут в разы оптимизировать ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как устроена эта технология в деталях, – сможете вдумчиво выбирать свой следующий устройство!