Кто такие «цифровые призраки» и стоит ли их бояться

Интернет заполнен личными артефактами, которые могут оставаться в Сети после смерти человека ещё очень долго. И уже давно появились технологии, которые позволяют создавать компьютерные симуляции умерших пользователей. Однако эксперты в области этики искусственного интеллекта предупреждают, что в реальности такая практика открывает двери для новой угрозы, когда людей начинают преследовать «боты-мертвецы» или «цифровые призраки».

Как люди становятся «цифровыми призраками»

На протяжении тысячелетий люди пытались общаться с умершими близкими с помощью религиозных обрядов, спиритических сеансов и прочих псевдонаучных методов. В современном мире благодаря развитию генеративного искусственного интеллекта у скорбящих родственников и друзей появилась новая возможность — общаться с чат-ботом, который имитирует особенности речи и личные качества умершего человека, обучаясь на цифровых следах, которые тот оставил в Сети. Такие чат-боты и есть «цифровые призраки».

Некоторые компании уже предлагают подобные услуги, которые, по сути, создают совершенно новый тип посмертного присутствия. И хотя некоторым может быть трудно осознавать такую реальность или относиться к ней серьёзно, индустрия «цифровой загробной жизни» — это не просто нишевый рынок, ограниченный стартапами. Например, в 2022 году компания Amazon представила функцию своего виртуального ассистента «Алексы», которая научилась имитировать голос умершего человека, используя только короткий аудиоклип.

Какие этические проблемы связаны с «цифровыми призраками»

Исследователи из Кембриджского университета считают, что «цифровые призраки» создают «этическое минное поле». И чтобы это показать, они представили три вымышленных сценария, которые в любой момент могут стать реальными при общении с «ботами-мертвецами».

В своём исследовании специалисты использовали метод дизайн-фикшена (design fiction). Этот термин впервые предложил писатель-фантаст Брюс Стерлинг. Так называют практику, направленную на изучение и критику возможного будущего с помощью моделирования различных сценариев и атрибутов, существующих только внутри моделей. По сути, исследователи описали в своей работе правдоподобные события, сопроводив их выдуманными визуальными подсказками.

Всего учёные представили три гиперреальных сценария, в которых вымышленные люди сталкиваются с проблемами, связанными с компаниями, оказывающими услуги посмертного присутствия. Для этого они создали цифровой реквизит, включая страницы несуществующих сайтов и уведомления на экране телефона от несуществующих приложений.

В своей работе исследователи сосредоточились на трёх демографических группах: 

• доноры данных — это те, на чьих цифровых следах основана ИИ-программа;
• получатели данных — компании или организации, которые могут владеть цифровой информацией;
• пользователи, взаимодействующие с сервисами, то есть родственники, друзья и любые другие люди, которые могут общаться с «ботом-призраком».

Первый сценарий

Специалисты обозначили его как MaNana (nana в переводе с английского значит «бабушка»). Так они назвали разговорный ИИ-сервис, который позволяет создавать чат-ботов без согласия доноров данных. 

Согласно гипотетическому сценарию, 35-летняя внучка, которая изначально была впечатлена технологией, очень реалистично имитировавшей её бабушку, и нашла утешение в общении с чат-ботом, начинает получать рекламу, когда заканчивается пробный период. Например, ей предлагают услуги доставки еды голосом родного человека. Внучка чувствует, что проявила неуважение к памяти бабушки, и хочет отключить чат-бота, но сделать это особенным, значимым образом, чего поставщики услуг не учли.

По мнению авторов исследования, у людей может развиться сильная эмоциональная связь с «цифровыми призраками», что сделает пользователей особенно уязвимыми перед манипуляциями. Именно поэтому важно создавать методы или даже ритуалы для достойного отключения таких чат-ботов. Например, это могут быть цифровые похороны или другие церемонии, которые будут более уместны в конкретном социальном контексте.

Кроме того, специалисты рекомендуют принимать протоколы, которые предотвратят неуважительное использование таких чат-ботов — например, для рекламы или активного ведения страницы в социальных сетях.

Учёные также считают, что получатели данных должны заручаться согласием доноров, а процесс проектирования чат-ботов должен включать в себя подсказки для тех, кто хочет «воскресить» близких. Например, в виде вопросов: «Вы когда-нибудь разговаривали с бабушкой о том, как она бы хотела, чтобы её запомнили?» Таким образом при создании «цифровых призраков» на первый план будет выходить достоинство умершего человека.

Второй сценарий

Он строится вокруг вымышленной компании Paren’t (рarent — родитель). В сценарии фигурирует смертельно больная женщина, которая оставляет после себя чат-бота, чтобы он помог её 8‑летнему сыну пережить горе. 

Несмотря на то, что сначала «цифровой призрак» действительно помогает, ИИ начинает генерировать сбивающие с толку ответы по мере того, как всё больше адаптируется к потребностям ребёнка. Например, говорит о будущей личной встрече. 

Исследователи рекомендуют устанавливать возрастные ограничения для взаимодействия с «цифровыми призраками». Также они призывают обеспечить «значимую прозрачность», чтобы пользователи всегда знали, что общаются с искусственным интеллектом. Такие предупреждения могут напоминать уже существующие — например, о контенте, который может спровоцировать судороги.

Третий сценарий

Он описывает пожилого человека, который обращается в компанию с названием Stay (что можно перевести с английского и как «оставаться», и как «опора, поддержка»). Клиент оплачивает 20-летнюю подписку в надежде, что общение с его «цифровым призраком» утешит взрослых детей и позволит внукам с ним познакомиться.

Услуга активируется после смерти заказчика. Один взрослый ребёнок не взаимодействует с сервисом и получает шквал писем от лица своего мёртвого родителя. Другой ребёнок пользуется сервисом, но в итоге испытывает эмоциональное истощение и вину, думая о судьбе чат-бота. Однако приостановка работы «цифрового призрака» нарушит условия контракта, который родитель подписал с компанией.

Исследователи считают, что сервисы цифровой загробной жизни должны принимать во внимание права и согласие не только того, кто становится «цифровым призраком», но и того, кто будет взаимодействовать с ИИ-симуляцией.

Подобные услуги способны причинить огромные страдания людям, которые могут подвергаться нежелательному цифровому преследованию со стороны пугающе точных ИИ-копий своих близких. Потенциальный психологический эффект может быть разрушительным, особенно в ситуации, когда и без того тяжело из-за утраты.

Поэтому учёные призывают разработчиков уделять приоритетное внимание протоколам, которые позволят вероятным пользователям прекращать общение с «цифровым призраком» такими способами, чтобы обеспечить эмоциональную завершённость.

*Деятельность Meta Platforms Inc. и принадлежащих ей социальных сетей Facebook и Instagram запрещена на территории РФ.