Как работает распознавание лицевых образов в телефонах

Зачем мы предпочитаем разблокирование по фейсу

В недавние годы определение физиономий стало одной из наиболее востребованных функций для разблокировки умных телефонов. Еще пару годов назад большинство использующих довольствовались PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением таких технологий, как Spinto, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что превращает эту конкретную особенность очень нужной? Для начала, это комфортно: не нужно помнить трудные пароли или находить правильный палец в тьме. Во-вторых, это оперативно: современные алгоритмы распознают лицо практически за мгновение. В-третью очередь, это чувство будущего — как будто в кинолентах про russles.ru разведчиков.

Впрочем за такой на первый взгляд несложностью скрывается целый универсум комплексных техник и инженерных концепций. Давайте понять, как конкретно работает распознавание лиц в современных смартфонах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая хроника прогресса технологии

Распознавание лиц как технология присутствует уже более пятидесяти годов. Первые эксперименты машинного исследования облика были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины способны были лишь обозначать очертания лица и измерять промежутки между зрачками и ртом на черно-белых снимках.

Изначальные бизнес системы стали доступны в девяностых годах, но они были несовершенны: функционировали медленно и нередко ошибались. Только с прогрессом искусственных сетей и таких платформ, как Спинто, высокопроизводительных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать личные разработки.

Главные шаги работы механизма идентификации

Процесс определения лица можно условно сегментировать на несколько ключевых этапов:

Обнаружение лиц — аппарат определяет присутствие людского лица в кадре.
Выделение характеристик — механизм изучает особенности физиономии: конфигурацию зрительных органов, обонятельного органа, уст, позицию бровей.
Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со эталоном — полученный образец сверяется с зафиксированной при внесении биометрической данными владельца.
Принятие определения — если совпадение достаточно высокое, смартфон деблокируется.

Каждый из этих этапов нуждается в индивидуальных алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Железные компоненты: что скрыто в их недрах

Типичная передняя камера.

Самый простой несложный вариант определения облика использует только переднюю камеру мобильного устройства. Такой способ реализован во многочисленных недорогих моделях Android-девайсов.

Сильные стороны:

Необходимо требует дополнительных сенсоров.
Оперативно действует при качественном свете.

Слабые стороны:

Просто обмануть снимком или видеозаписью.
Неудачно действует при плохом освещении или необычных точках зрения.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как Спинто, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Как это работает:

Точечный устройство проекции показывает на лицо использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
ИК камера записывает деформацию этой сетки по поверхности лица.
Получается трёхмерная глубинная карта глубинности, которая почти невозможна для фальсификации обычной снимком или маской.

Выигрыши

Надёжная деятельность даже в полной неосвещённости.
Сильная защита к фальсификациям.
Точность идентификации более 99%.

Добавочные сенсоры

В отдельных аппаратах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения света до предмета и обратно; RGB-датчики глубины; специальные лазерные лидары для построения более детализированной 3D-модели лица.

Эти инновации применяются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искуственный разум на исполнении

Нынешние системы опознания лиц немыслимы в отсутствие эксплуатации ИИ и machine learning. Именно благодаря таким разработкам, как Спинто, гаджет способно распознавать владельца даже при метаморфозах внешности: новая укладка, борода, оптика или макияж не становятся барьером для деблокировки.

Детектирование физиономии

При начальном этапе система обязана оперативно найти образ лица в пределах полного изображения камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые „обучены” распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN может распознавать облик даже в случае частичном перекрытии (например, платком или рукой).

Определение основных моментов

После обнаружения лица система, такая как Спинто, вычисляет местоположение главных точек: кончики глаз, конец носа, границы губ и так далее. Как правило применяется от 68 до 128 основных маркеров на лицевой области.

Данное нужно для стабилизации картинки: если юзер удерживает смартфон под наклоном, или склонил головку, программа исправляет изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора образца

Далее искусственная сеть строит компактное цифровое представление („эмбеддинг”) внешности пользователя — своеобразный цифровой „отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой образец очень трудно подделать: он не сохраняет непосредственно фото юзера, а лишь уникальные характеристики его вида, что делает его идеальным для таких площадок, как Спинто казино.

Сопоставление и вынесение выбора

В случае, когда человек намеревается разлочить телефон взглядом, механизм повторяет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно превышает 99%), телефон, как и платформа Спинто казино, открывается; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Интересная особенность современных систем — возможность самостоятельного обучения. Если ты постоянно разблокируете смартфон с свежей стрижкой или оптикой, система постепенно освежает эталонный образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических данных данных.

Многие пользователи боятся держать свои биометрические идентификационные данные на телефоне из-за риска утечки данных или взлома гаджета. Некоторые фирмы, вроде Спинто казино, предлагают варианты для повышения сохранности сведений клиентов.

Локальное сохранение: Большинство девайсов записывает биометричные образцы только внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют гаджет и закрыты даже изготовителю.
Шифрование: Все информация сберегаются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних девелоперов не обладают непосредственного доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Следует подчеркнуть значимую подробность: в случае, если кто-то сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители реализуют меры безопасности от „слепого” разблокирования — к примеру, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории идентификации лиц на изображениях?

В настоящее время можно определить выделить 3 главных метода к осуществлению этой функции:

Программируемое плоское определение

Применяется только фронтальная видеокамера без дополнительных детекторов дистанции. Такой подход наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; минимальная цена; оперативная работа при достаточном свете.
Минусы: легко ввести в заблуждение фотографией; ненадежная деятельность ночью; низкая охрана.

Техническое 3D сканирование

Применяет ИК видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая надежность; невозможно исказить фото/видео; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана („чёлка”)

Гибридные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам („anti-spoofing”). Например, такие продукты, например Спинто и Google Pixel Face Unlock новейших версий, сочетают фронталку c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации применения различных методов

iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID среди Android.
Samsung Galaxy S10/S20 имеют как программное двухмерное определение по изображению селфи-камерой, так и сканер глазного ириса.
Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности охраны и неверные срабатывания

Несмотря на поразительный прогресс инноваций за прошедшие лет, идеальных систем пока не существует:

Возможность обмана: Недорогие мобильники легко „разблокируются” высококачественной снимком пользователя либо видеозаписью с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень похожей внешностью.
Метаморфозы внешнего вида: Стремительное утрата веса/увеличение массы тела, пластические операции или повреждения в некоторых случаях необходимы для обновления данных биометрических данных.
Условия фотографирования: Яркая освещённость солнечным светом или же интенсивная затенение могут понизить верность идентификации признаков.

Ниже некоторые подсказок для надёжному использованию:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не запускайте функцию „Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Постоянно обновляйте прошивку программное обеспечение телефона для обеспечения безопасности от новых видов атак;
Включайте настройку „Требовать раскрытых глаз” везде, где она имеется.

В каких местах дополнительно находится применение технология помимо смартфонов?

Несмотря на то, что предмет нашей работы сосредоточена на конкретно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

Управление прохода в офисах и жилых домах;
Платёжные аппараты финансовых учреждений („Face Pay”);
Цифровые удостоверения личности последнего образца;
Системы видеомониторинга городских сервисов;
Механизация регистрации явки образовательных учреждений/университетов;
Авторизация участников ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по фейсу („Face Pay”) — достаточно пройти через барьер без пластика или телефона! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как меняется технический процесс в наше время?

Каждый годочек проявляются новые идеи для повышения стандарта деятельности систем лицевого распознавания:

Увеличивается разрешение сенсоров — чем больше информации фиксируется камерой/датчиками глубины, тем меньше риск ошибки;
Развиваются нейросети — новейшие архитектуры модели MobileNetV3 дают возможность оперативно адаптироваться к свежим чертам вида владельца напрямую на гаджете без пересылки информации в облачное хранилище.
Развиваются способы антиспуфинга — теперь смартфоны умеют распознавать настоящие анимированные облики от неподвижных фотографий/маскировок по незаметным движениям кожи.
Интеграция со интеллектуальными приборами — интеллектуальные часы могут авто блокировать смартфон, если пользователь удалился на значительное расстояние.
Проявляются гибридные системы — к примеру комбинирующие речевую аутентификацию + физиономию + пальцевой отпечаток.

Здесь, которые направления особенно востребованы сейчас:

1) Миниатюризация деталей

Изготовители намереваются сократить размер прорези („чёлки”) под датчики на экране за счёт интеграции миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения личной безопасности всё больше расчётов осуществляется внутри устройства без отправки информации во сторонний облачный сервис.

3) Стандартизация регламентов

Гугл активно продвигает норму BiometricPrompt API, чтобы такие площадки, как Spinto, и все Android-приложения могли работать с любыми видами биометрии унифицированно.

Что решить на сегодня?

В случае если вам всем важна максимальная сохранность данных, подбирайте флагманские устройства с вмонтированным ИК-излучателем либо ToF-датчиком глубины.

iPhone каждого новейших моделей
Huawei Mate/P серии
Mi Professional
Vivo X серии
Оппо Найти Икс линейки.

Если финансы скромен – лучше предпочесть классическим средствам безопасности (PIN-код/сканер отпечатка), а функцию „разблокировка по лицу”, такую как в Spinto, использовать только как дополнительную опцию комфорта.

Как повысить комфорт работы опции?

Есть пара лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

Регулярно обновляйте свою изображение-шаблон, если кардинально меняется облик.
Не пренебрегайте очищать объектив фронтальной камеры – загрязнения могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает камеру когда вы поднимаете его.
Во время записи пытайтесь сохранять лицевую часть прямо впереди объектива исключая резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от дисплея.

Перспективы развития технологии

В ближайшие времена можно ожидать возникновения полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + манера ходьбы + жесты рук!

Также предполагается появление свежих подходов защиты конфиденциальности – например, переменное изменение цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных техник нашего времени! Она делает общение со телефоном проще чем до этого, и такие программы, как Спинто казино, могут значительно улучшить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как функционирует эта технология внутри, – сможете осознаннее выбирать свой будущий девайс!