Алгоритмы Apple будут проверять фото пользователей для выявления случаев жестокого обращения с детьми

Как сообщает Мэтью Грин, профессор криптографии в университете Джона Хопкинса, Apple готовится запустить инструмент для выявления на фотографиях насилия над детьми.

Он будет автоматически анализировать фотографии, которые пользователь хранит и создаёт на своём устройстве, в поисках маркеров жестокого обращения с детьми. Проще говоря, это нейросеть, обученная на нелегальном контенте и способная выявлять его в других изображениях.

Эта функция будет работать по тому же принципу, что и поиск по фото через стандартное приложение галереи в iOS. Все вычисления происходят на устройстве, чтобы гарантировать приватность пользователей — до тех пор, пока система не заметит что-то подозрительное. Фотографии, которые система посчитает как возможно содержащие нелегальный контент, будут отправляться на проверку уже людьми.

Тем не менее, Грин отмечает ряд потенциальных проблем системы. В частности, современные алгоритмы не совершенны и могут выявлять множество ложно позитивных соответствий. Если Apple позволит правительствам стран получить доступ к этой базе данных, они потенциально смогут использовать систему для обнаружения не только нелегального контента с детьми, но в других целях — в частности, контроля политической оппозиции.

Единственный способ, каким Apple может внедрить новую систему и защитить пользователей — использовать сквозное шифрование при передаче данных. Пока что компании не удавалось внедрить его в iCloud, но, возможно, для передачи спорного контента сделают исключение.

Грин сообщает, что Apple готовится анонсировать новый алгоритм уже в ближайшие дни.