Каким способом работает определение лиц в смартфонах

Почему мы останавливаемся на разблокировку по фейсу

В последние годы определение физиономий является одной из наиболее востребованных функций для разблокировки мобильных телефонов. Лишь несколько лет назад основная часть пользователей удовлетворялись пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает эту конкретную возможность настолько популярной? Для начала, это практично: не нужно удерживать в памяти замысловатые пароли или искать нужный палец в тьме. Также, это быстро: современные алгоритмы идентифицируют лицо практически за доли секунды. В-третью очередь, это чувство будущего — будто в кинолентах про вулкан казино агентов.

Впрочем за такой кажущейся простотой скрывается целый универсум трудных техник и инженерных концепций. Позвольте нам исследовать, как конкретно действует распознавание лиц в современных гаджетах, какие существуют способы, насколько они надёжны и что нас ждёт впереди.

Сжатая хроника развития технологии

Распознавание лиц как технология существует уже более пятидесяти лет. Изначальные попытки автоматизированного анализа лица были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры могли лишь выделять очертания лица и измерять расстояния между очами и губами на ахроматических фотографиях.

Начальные бизнес установки появились в девяностых годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с прогрессом синтетических сетей и таких платформ, как вулкан россии, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Главные этапы функционирования системы идентификации

Процесс определения лица можно примерно поделить на несколько основных этапов:

1. Обнаружение лиц — камера выявляет существование людского лица в изображении.
2. Извлечение особенностей — система исследует контуры лица: форму зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
3. Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — полученный модель сопоставляется с записанной при регистрации биометрической сведениями владельца.
5. Принятие определения — если соответствие достаточно значительное, смартфон открывается.

Всякий из данных шагов требует специальных процедур и усовершенствований для быстрой работы непосредственно на девайсе.

Аппаратные компоненты: что находится в их недрах

Типичная передняя камера.

Самый простой простой способ идентификации облика использует только фронтальную камеру мобильного устройства. Такой метод реализован во многочисленных недорогих моделях Android-устройств.

Плюсы:

• Не потребляет дополнительные сенсоров.
• Быстро функционирует при качественном освещении.

Слабые стороны:

• Несложно ввести в заблуждение фотографией или видео.
• Неудачно работает при низком освещении или необычных точках зрения.

Инфракрасная камера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Как это действует:

• Точечный проекционный прибор отображает на лицо пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
• Инфракрасная камера фиксирует изменение формы этой сетки по поверхности физиономии.
• Формируется 3D глубинная карта глубины, которая почти что неподвластна для подделки обычной фотографией или маскировкой.

Преимущества

• Надёжная работа даже в полной неосвещённости.
• Высокая сопротивляемость к фальсификациям.
• Точность распознавания более 99%.

Дополнительные датчики

В определённых девайсах задействуются также экстра датчики: ToF (Time-of-Flight), которые определяют период распространения луча до объекта и обратно; Трехцветные-датчики глубины; специальные световые дальномеры для формирования более точной 3D-модели физиономии.

Эти технологии используются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический ум в работе

Нынешние устройства идентификации лиц немыслимы без эксплуатации искусственного интеллекта и машинного обучения. Именно благодаря таким технологиям, как вулкан россии, гаджет способно распознавать юзера даже при метаморфозах внешнего вида: новая причёска, борода, оптика или макияж не становятся барьером для деблокировки.

Обнаружение лица

В стартовом стадии алгоритм должна быстро распознать образ лица в пределах целого изображения с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать облик даже в случае частичном перекрытии (например, шалью или рукой).

Идентификация важных моментов

После распознавания лица механизм, такая как вулкан россии, определяет местоположение главных точек: края глаз, верхушка носа, края губ и так далее. Обычно задействуется от 68 до 128 основных меток на лице.

Данное нужно для нормализации картинки: если пользователь находится с телефон под углом, или повернул голову, программа «выпрямляет» изображение до стандартного положения для последующего изучения.

Построение биометрического модели

Далее искусственная сеть строит сжатое математическое представление («эмбеддинг») внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот формат очень сложно имитировать: он не сохраняет непосредственно картинку пользователя, а лишь исключительные особенности его вида, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и осуществление заключения

Когда пользователь намеревается разлочить мобильник взором, система осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Приспособление к метаморфозам облика

Увлекательная характеристика современных системы — возможность самообучения. Если ты регулярно доступаете к смартфон с свежей стрижкой или очками, алгоритм постепенно модернизирует основной шаблон вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных информации.

Множество юзеры опасаются сохранять свои био-идентификационные данные на телефоне из-за вероятности утечки данных или взлома устройства. Иные фирмы, например vulkan russia, предоставляют методы для увеличения защиты данных юзеров.

• Локальное хранение: Преимущественно устройств сохраняет биометрические шаблоны лишь внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не выходят из устройство и не доступны даже создателю.

• Шифрование: Все информация сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо подчеркнуть важную подробность: если какой-то человек получит доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании осуществляют систему защиты от неосознанного разблокирования — например, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды идентификации лиц?

В настоящее время можно выделить выделить три главных способа к реализации этой операции:

Софтверное 2D определение

Используется только передняя камера без экстра детекторов глубины. Такой метод используется наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; низкая цена; скоростная деятельность при качественном освещении.
Минусы: несложно ввести в заблуждение снимком; неустойчивая деятельность ночью; слабая безопасность.

Аппаратное трёхмерное оцифровка

Использует ИК видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: высокая надежность; невозможно подделать фото/видео; устойчивая функционирование при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана («чёлка»)

Смешанные способы с дополнением ИИ

Задействуют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам («anti-spoofing»). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock последних поколений, комбинируют фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации применения разных методов

• iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное двухмерное определение по фото селфи-камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ложные сигналы

Несмотря на поразительный успехи технологий за прошедшие лет, идеальных системы пока не наблюдается:

1. Вероятность мошенничества: Недорогие телефоны без труда «разблокируются» высококачественной изображением владельца или же видеозаписью с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные механизмы могут спутать между однояйцевыми близнецами либо семьями с очень похожей внешностью.
3. Трансформации внешности: Резкое снижение веса/набор веса, косметические процедуры либо травмы иногда необходимы для обновления данных биометрических данных.
4. Условия фотографирования: Интенсивная освещённость солнечным светом или же глубокая затенение могут уменьшить верность определения признаков.

Вот несколько рекомендаций для безопасному применению:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не активируйте функцию «Разблокировка по лицу» на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте функцию «Требовать раскрытых глаз» в тех местах, где она есть.

Где ещё применяется технологии кроме мобильных телефонов?

Пускай основная мысль нашей публикации посвящена в частности мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль доступа в рабочих помещениях и резиденциях;
• Платёжные терминалы финансовых учреждений («Face Pay»);
• Виртуальные удостоверения личности нового образца;
• Комплексы видеонаблюдения муниципальных подразделений;
• Механизация отслеживания посещаемости учебных заведений/институтов;
• Авторизация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по фейсу («Face Pay») — достаточно пройти через турникет без пластика или мобильника! Аналогичные проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется технология в наше время?

Каждый годочек появляются современные идеи для усовершенствования качества работы систем идентификации лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс погрешности;
2. Развиваются нейросети — современные конструкции типа MobileNetV3 дают возможность быстро осваивать новым характеристикам внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь мобильные устройства умеют отличать реальные анимированные облики от неподвижных снимков/маскировок по незаметным движениям кожи.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут самостоятельно блокировать смартфон, если обладатель ушёл далеко.
5. Проявляются смешанные устройства — в частности объединяющие речевую идентификацию + облик + пальцевой отпечаток.

Вот, которые тренды особенно востребованы на сегодняшний день:

1) Уменьшение деталей

Изготовители стараются минимизировать габариты отверстия («чёлки») для сенсоры на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения личной безопасности всё более расчётов осуществляется внутри устройства без передачи информации во внешний облачный сервис.

3) Стандартизация стандартов

Гугл энергично продвигает эталон BiometricPrompt API, для того чтобы такие площадки, вроде вулкан россия, и любые Android-программы могли взаимодействовать с различными типами биометрии унифицированно.

Какое решить на сегодня?

Если тебе нужна максимальная безопасность информации, выбирайте топовые модели с интегрированным ИК-излучателем или ToF-датчиком глубины.

• iPhone всех существующих актуальных версий
• Huawei Companion/P Series линейки
• Xiaomi Professional
• Vivo X серии
• Oppo Find Икс линейки.

Если бюджет ограничен – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер отпечатка), а опцию «разблокировка по лицу», такую как в вулкан россия, задействовать только как опциональную опцию комфорта.

Как повысить удобство использования возможности?

Есть несколько хитростей для тех, кто уже применяет функцию распознавания лица:

1. Регулярно обновляйте свою изображение-шаблон, если сильно изменяется внешний вид.
2. Не забывайте очищать объектив фронтальной камеры – загрязнения могут уменьшить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует фотоаппарат если вы поднимаете его.
4. При регистрации пытайтесь удерживать голову ровно впереди видеоустройства без сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от дисплея.

Возможности развития техники

В предстоящие периоды можно ожидать появления полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим параметрам одновременно: лицо + речь + шаги + движения рук!

Также предполагается появление новых методов защиты приватности – скажем, изменяющееся модификация электронного паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых увлекательных техник нашего периода! Она делает взаимодействие со мобильным устройством удобнее чем до этого, и такие программы, как vulkan russia, могут значительно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как устроена эта технология изнутри, – сумеете осознаннее определять свой очередной устройство!