Как работает распознавание лиц в телефонах

Почему мы выбираем разблокирование по лицевому распознаванию

В прошлые времена определение лиц является одной из самых распространённых функций для открытия смартфонов. Лишь пару годов назад основная часть использующих удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект превращает эту конкретную возможность очень нужной? Во-первых, это практично: не нужно помнить сложные пароли или отыскивать верный палец в тьме. Кроме того, это оперативно: современные системы распознают лицо буквально за мгновение. В-третью очередь, это чувство футуризма — словно в кинофильмах про admiral x зеркало разведчиков.

Тем не менее за данной видимой легкостью прячется весь вселенная трудных техник и инженерных решений. Попробуем понять, как именно действует идентификация по лицу в актуальных гаджетах, какие применяются методы, насколько они надёжны и что нас ждёт впереди.

Короткая история прогресса инноваций

Идентификация лиц как технология существует уже более 50 лет. Начальные пробы машинного исследования облика были сделаны еще в 1960-х годах в лабораториях США. Тогда вычислительные машины умели лишь определять очертания черепа и определять промежутки между зрачками и ртом на монохромных фотографиях.

Изначальные бизнес системы возникли в 1990-х годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с прогрессом синтетических сетей и таких площадок, как адмирал х, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять личные разработки.

Ключевые стадии действия устройства идентификации

Процесс определения лица можно примерно поделить на несколько важных этапов:

1. Идентификация лица — устройство выявляет присутствие людского образа в снимке.
2. Определение признаков — механизм анализирует особенности лица: форму зрительных органов, носа, уст, позицию надбровных дуг.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с образцом — сформированный образец сравнивается с сохранённой при регистрации биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно высокое, смартфон открывается.

Любой из указанных стадий запрашивает особых методов и улучшений для быстрой работы непосредственно на девайсе.

Железные компоненты: что скрыто внутри них

Обычная селфи камера.

Самый простой способ идентификации облика задействует исключительно лицевую видеокамеру смартфона. Подобный способ внедрён во многочисленных доступных вариантах Android-девайсов.

Преимущества:

• Не нуждается в дополнительных датчиков.
• Быстро работает при достаточном освещённости.

Минусы:

• Несложно ввести в заблуждение фотографией или роликом.
• Плохо функционирует при плохом свете или непривычных ракурсах.

ИК камера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким способом это действует:

• Точечный проектор проецирует на облик использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
• Инфракрасная камера фиксирует деформацию этой решетки по плоскости лица.
• Создаётся трёхмерная карта глубины глубинности, что почти что неподвластна для подделки стандартной фотографией или маской.

Преимущества

• Надёжная функционирование даже в полной темноте.
• Сильная защита к подделкам.
• Точность определения выше 99%.

Дополнительные датчики

В определённых устройствах задействуются также вспомогательные сенсоры: ToF (Time-of-Flight), которые измеряют период движения луча до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные лидары для построения более точной 3D-модели физиономии.

Эти технологии используются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный интеллект в действии

Текущие системы распознавания лиц невозможны в отсутствие использования artificial intelligence и машинного обучения. Именно благодаря таким технологиям, как адмирал х, аппарат в состоянии идентифицировать владельца даже при трансформациях облика: новая причёска, щетина, очки или грим не становятся препятствием для открытия.

Детектирование лица

При начальном этапе программа должна быстро распознать лицо среди целого изображения камеры. Для этой задачи применяются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать физиономию даже при частичном перекрытии (например, шалью или рукой).

Выделение важных моментов

После идентификации лица система, такая как адмирал х, вычисляет расположение основных точек: края глаз, кончик носа, границы губ и так далее. Часто используется от 68 до 128 основных меток на лице.

Это действие необходимо для стабилизации изображения: если пользователь находится с смартфон под наклоненным, или склонил голову, программа “выпрямляет” картинку до нормального состояния для последующего изучения.

Формирование биометрии шаблона

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой образец крайне трудно сфальсифицировать: он не сохраняет само фото пользователя, а лишь особенные черты его облика, что делает его совершенным для таких площадок, как admiral-x.

Сравнительный анализ и вынесение заключения

Если человек желает открыть мобильник глазами, механизм воспроизводит все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Привыкание к метаморфозам внешнего вида

Интересная черта нынешних системы — возможность самостоятельного обучения. Если ты часто разблокируете смартфон с обновленной прической или оптикой, система постепенно модернизирует базовый образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрических данных.

Множество пользователи боятся держать свои биометрические данные на смартфоне из-за угрозы потери данных или взлома устройства. Определенные компании, например admiral-x, предоставляют методы для повышения защиты информации юзеров.

• Локальное сохранение: Большинство девайсов хранит биометричные шаблоны только в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают гаджет и закрыты даже производителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо подчеркнуть существенную подробность: если кто-то достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании осуществляют защиту от неосознанного разблокирования — например, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы определения лиц?

Сегодня можно определить определить три главных подхода к выполнению этой задачи:

Софтверное 2D определение

Применяется только лицевая видеокамера без экстра сенсоров глубины. Такой метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; умеренная затраты; скоростная деятельность при хорошем освещении.
Минусы: легко ввести в заблуждение фотографией; нестабильная функционирование ночью; слабая защищенность.

Оборудование для объёмное сканирование

Применяет ИК видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надёжность; нельзя подделать изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Применяют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, например адмирал х и Google Pixel Face Unlock последних версий, комбинируют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации применения разных способов

• iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые предложил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное двухмерное определение по снимку фронтальной камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-датчик

Вопросы безопасности и неверные тревоги

Несмотря на поразительный прогресс технологий за недавние лет, совершенных систем пока не существует:

1. Шанс подвоха: Бюджетные смартфоны просто открываются высококачественной фотографией владельца либо видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные системы могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы облика: Внезапное снижение веса/увеличение массы тела, косметические процедуры либо повреждения в некоторых случаях требуют обновления данных биометрических данных.
4. Условия записи: Сильная подсветка солнцем либо глубокая тень могут снизить аккуратность идентификации признаков.

Вот пара рекомендаций по безопасному эксплуатации:

• Для значимых операций всегда применяйте двухэтапную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Постоянно апгрейдите прошивку смартфона для обеспечения безопасности от современных угроз;
• Включайте функцию “Требовать открытых глаз” там, где она имеется.

Где дополнительно находится применение технология за исключением мобильных телефонов?

Несмотря на то, что тема данной публикации касается конкретно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

• Мониторинг прохода в рабочих помещениях и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые удостоверения личности современного поколения;
• Системы видеоконтроля городских подразделений;
• Автоматизирование отслеживания посещаемости учебных заведений/вузов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без пластика или телефона! Схожие проекты реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом трансформируется технология в наше время?

Всякий годочек проявляются новые концепции для улучшения стандарта функционирования систем идентификации лиц:

1. Увеличивается разрешение датчиков — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше риск ошибки;
2. Улучшаются нейронные сети — новейшие структуры вида MobileNetV3 дают возможность скоростно адаптироваться к дополнительным чертам внешности пользователя прямо на устройстве без отправки данных в облако.
3. Совершенствуются технологии антиспуфинга — теперь смартфоны умеют различать подлинные движущиеся лица от статичных фото/маскировок по незаметным движениям кожи.
4. Интеграция со смарт-гаджетами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если пользователь отошёл далеко.
5. Появляются гибридные механизмы — к примеру комбинирующие аудио аутентификацию + облик + пальцевой отпечаток.

Здесь, какие тенденции очень актуальны сейчас:

1) Уменьшение компонентов

Компании стараются минимизировать габариты выреза (“чёлки”) для датчики на дисплее за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения личной безопасности всё больше расчётов происходит внутри устройства без передачи информации во дополнительный облачный услугу.

3) Стандартизация регламентов

Google энергично пропагандирует эталон BiometricPrompt API, с целью чтобы такие платформы, как admiral x, и все Android-приложения могли работать с всеми формами биометрии единообразно.

Какое решить сегодня?

Когда вам важна наивысшая сохранность информации, остановите выбор на топовые модели с вмонтированным ИК-проектором или же ToF-датчиком глубины.

• iPhone каждого актуальных версий
• Huawei Partner/P Series серии
• Mi Professional
• Vivo X серии
• Oppo Найти X серии.

Если бюджет ограничен – лучше выбирать классическим способам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную опцию удобства.

Как увеличить удобство использования опции?

Есть несколько советов для людей, кто уже пользуется разблокировку через лицо:

1. Регулярно обновляйте свою фото-шаблон, если значительно меняется облик.
2. Не упускайте из виду протирать линзу передней камеры – разводы могут снизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует камеру как только вы берёте его в руки.
4. При регистрационного процесса пытайтесь удерживать лицо неподвижно впереди камеры не допуская сильного наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Перспективы развития технологии

В скоро наступающие времена можно предвкушать возникновения полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: лицо + речь + шаги + движения рук!

Также предполагается возникновение свежих способов защиты конфиденциальности – к примеру, динамическое корректировка диджитал паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих инноваций нашего эпохи! Она обеспечивает взаимодействие со смартфоном комфортнее чем до этого, и такие программы, как admiral-x, могут значительно повысить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как работает эта методика внутри, – сумеете вдумчиво определять свой следующий девайс!