Apple объяснила, как HomeView защищает данные камеры с помощью Secure Exclaves

Apple подробно рассказала о технологии Secure Exclaves, которая обеспечивает защиту данных с камер и микрофонов в HomeView, iPhone 18 Pro и других устройствах компании.

Secure Exclaves представляют собой изолированные вычислительные среды, обрабатывающие аудио- и видеоданные отдельно от остальной операционной системы. Такая архитектура не позволяет другим компонентам ОС, приложениям и даже самой Apple получать доступ к исходным данным. При этом изолированные среды могут использовать вычислительные ресурсы основного процессора.

Технология применяется в нескольких функциях и устройствах. В частности, HomeView использует распознавание лиц и голоса, чтобы идентифицировать до шести человек в доме. Secure Exclaves также защищают индикатор активности камеры устройства. В функциях Siri Recap и Live Rewind технология обеспечивает обработку окружающих звуков для создания кратких пересказов разговоров и расшифровки последних 15 секунд речи. На iPhone 18 Pro, iPhone 18 Pro Max и iPhone Duo она отвечает за защиту данных камеры и микрофона, а также соответствующих индикаторов. Кроме того, технология используется при активации Siri командой «Привет, Siri» и защищает индикатор камеры MacBook Neo.

В качестве примера работы Secure Exclaves Apple подробно описала систему распознавания людей в HomeView. Устройство постоянно выполняет минимальную обработку изображения, чтобы определить, находится ли кто-нибудь в поле зрения камеры. Видеопоток поступает в изолированную среду камеры, которая взаимодействует с отдельной средой распознавания людей. Последняя использует модели распознавания лиц и голоса, а также базу данных зарегистрированных пользователей.

Когда человек появляется перед камерой, первая среда определяет его присутствие и передаёт операционной системе сигнал о возможном обнаружении человека. При этом сами изображения не покидают защищённую среду. Аналогичным образом отдельная среда обрабатывает аудиоданные.

Затем система распознавания сопоставляет полученные данные с сохранёнными образцами лиц и голосов зарегистрированных пользователей и рассчитывает степень уверенности в совпадении. Операционная система получает только идентификатор человека, его положение в кадре и оценку достоверности распознавания, но не исходные фото, видео или аудиозаписи. Этой информации достаточно для активации персонализированных функций, например Календаря и Сообщений. После обработки исходные данные с датчиков удаляются.

Apple разработала Secure Exclaves для безопасной работы функций, которым необходимо постоянно анализировать окружающую обстановку с помощью камер и микрофонов. Работа над этой архитектурой началась ещё в период разработки iOS 18.

Ранее Apple использовала световые индикаторы, сообщающие об активности камеры и микрофона. Однако при постоянном мониторинге окружающей обстановки они должны были бы гореть практически непрерывно. В результате пользователям было бы сложно отличить обычное фоновое распознавание от полноценной записи аудио и видео.

Для решения этой проблемы Apple предусмотрела два режима работы Secure Exclaves. В фоновом режиме индикаторы не активируются, а защищённая среда может реагировать на определённые события, передавая операционной системе лишь ограниченный объём метаданных. В активном режиме система получает полноценный доступ к данным датчиков, а соответствующий индикатор уведомляет пользователя о работе камеры или микрофона.

При этом Secure Exclaves обеспечивают дополнительную защиту уже существующих механизмов индикации: перед передачей исходных данных из изолированной среды в операционную систему технология проверяет, что соответствующий индикатор включён.

В Apple отмечают, что создание такой архитектуры потребовало разработки полностью изолированной вычислительной среды, способной обрабатывать данные датчиков. Одной из наиболее сложных инженерных задач стало выделение и изоляция памяти, используемой Secure Exclaves. Подробное техническое описание реализации компания опубликовала на своём сайте, посвящённом безопасности устройств Apple.