Может ли чат-бот быть расистом? Что такое алгоритмическая предвзятость

В 1966 году специалист по информатике из Массачусетского технологического института Джозеф Вейценбаум создал ELIZA — первый в мире чат-бот. Этот допотопный предшественник ChatGPT имитировал поведение разумного психотерапевта, формируя ответы на основе заранее заданных сценариев и набора определённых правил.

Вейценбаум считается ключевой фигурой в развитии ИИ-технологий. Но также он был одним из наиболее ярых скептиков в этой области. В своих поздних работах учёный настаивал на том, что искусственный интеллект усугубляет системное неравенство, а не устраняет его.

Представьте, что откликаетесь на вакансию топ-менеджера, но ваше резюме не попадает к рекрутеру. Ваши навыки и опыт безупречны, анкета заточена под ИИ-фильтры, и вы решительно не понимаете, в чём дело. А дело в том, что машину обучали на анкетах успешных топ-менеджеров за последние 30 лет и — вот так сюрприз — все они были мужчинами. Но вы женщина, и поэтому нейросеть не пропускает ваш отклик. Это явление известно как алгоритмическая предвзятость.

Что понимают под алгоритмической предвзятостью

По определению под алгоритмической предвзятостью теоретически может пониматься искажение или систематическая ошибка в любом цифровом или нецифровом алгоритме. Однако чаще всего термин применяют к компьютерным алгоритмам, в частности машинного обучения.

При этом определение существенно различается в зависимости от того, кто его даёт и в каком контексте. Как правило, хотя и не всегда, это понятие выходит за рамки общего смысла слова «предвзятость» и подразумевает именно те тенденции, которые усугубляют неравенство в обществе и вредят уязвимым группам.

Например, ИИ-алгоритм подбора персонала, который предпочитает имя Серёжа имени Вася, может вызвать вопросы. Но это ещё не алгоритмическая предвзятость. О ней говорят, если программа отдаёт предпочтение славянским именам, игнорируя имена, характерные для других этнических групп. То есть если она воспроизводит существующую дискриминацию при найме.

Какой вред может причинить алгоритмическая предвзятость

Данные и модели, которые используются в ИИ-системах, не являются объективным отражением реальности. Они — результат взаимодействия конкретных инструментов, людей и властных структур, которые отдают приоритет одному способу видения или оценки в ущерб другому. По крайней мере, так считают Мэделин Элиш и Дана Бойд, которые исследуют социальные аспекты и этику искусственного интеллекта.

Также в экспертном сообществе существует позиция, с точки зрения которой вред от алгоритмической предвзятости попадает в одну из двух категорий:

1. Вред, связанный с распределением ресурсов. Он усугубляет неравенство и укрепляет систему, которая несправедливо лишает определённые группы людей доступа к возможностям, услугам или ресурсам. Например, к рабочим местам или медицинской помощи.
2. Вред, связанный с репрезентацией. По сути, это искажённое отражение действительности, которое «стирает» отдельные социальные группы или закрепляет негативные стереотипы о них. Например, пользователи Google обнаружили, что поиск изображений генеральных директоров выдаёт в основном фотографии белых мужчин. Подобные «фокусы» влияют на наше восприятие мира, потенциально усиливая предрассудки и ограничивая будущее, которое мы можем себе представить.

К каким реальным последствиям приводит алгоритмическая предвзятость

Приведём несколько примеров.

В 1980‑е годы медицинская школа при больнице Святого Георгия в Лондоне внедрила алгоритм предварительного отбора абитуриентов, созданный доктором Джеффри Фрэнгленом. Это была компьютерная программа, основанная на прошлых решениях приёмной комиссии. А спустя несколько лет установили, что программа снижала итоговый балл некоторым кандидатам. Абитуриенты с именами, нехарактерными для представителей европеоидной расы, могли недосчитаться до 15 баллов, абитуриенты женского пола — 3 баллов. Короче говоря, этот скандал ещё 40 лет назад наглядно показал, как алгоритмы могут воспроизводить предрассудки, свойственные людям.

За последнее десятилетие внимание к проблеме алгоритмической предвзятости резко возросло. Что неудивительно, учитывая современные инциденты. Так, в 2018 году стало известно, что алгоритм Amazon для найма персонала отдавал предпочтение резюме кандидатов, которых система классифицировала как мужчин. А в 2021 году в США разгорелся скандал из-за того, что ИИ-алгоритмы непропорционально часто отказывали темнокожим заявителям в ипотеке.

Несколькими годами ранее темнокожая аспирантка Массачусетского технологического института рассказала на TED Talk о том, как обнаружила расовую предвзятость в алгоритмах распознавания лиц. Она была вынуждена надевать белую маску, чтобы система могла её распознать, так как стандартные для отрасли программы «видели» лишь светлые оттенки кожи. В 2019 году масштабное тестирование систем распознавания лиц в США показало, что в большинстве алгоритмов частота ложноположительных результатов при анализе лиц азиатов и афроамериканцев была выше, чем при анализе лиц представителей европеоидной расы.

Как преодолеть алгоритмическую предвзятость

Алгоритмическая предвзятость может возникать на самых разных этапах жизненного цикла алгоритма: при разработке, обучении или внедрении. Охватить все стадии в небольшом разборе невозможно. Попробуем составить общее представление о том, что можно сделать со скрытыми искажениями на ключевых этапах разработки.

Постановка задачи

Прежде чем приступить к созданию алгоритма, надо определить, какую именно проблему мы хотим решить. Этот выбор неизбежно связан с некоторыми допущениями, издержками и бонусами.

Возьмём, к примеру, систему распознавания лиц, определяющую пол человека. Формулируя задачу, мы закладываем в неё представления о гендерной бинарности и нормах внешности. Мы также руководствуемся определённой целью: для чего вообще нужно определять пол? Это не означает, что подобные задачи в принципе бесполезны: польза зависит от контекста. Однако осознание допущений, которые лежат в основе задач, — один из первых шагов к минимизации алгоритмической предвзятости.

Обучение модели

Алгоритм учится выявлять закономерности на обширных массивах информации и применять их к новым данным. Недостаточно репрезентативные наборы «учебного материала» — одна из главных причин возникновения алгоритмической предвзятости.

Если ПО для распознавания лиц обучалось преимущественно на изображениях людей с белой или светлой кожей, вполне закономерно, что итоговая модель будет хуже справляться с распознаванием людей с тёмным цветом кожи. Никто, даже ИИ-алгоритм не может учиться на материале, который ему не предоставили.

Оценка системы

Если мы создаём модели, которые должны воспроизводить человеческие решения, то неизбежно переносим в них и свойственные этим решениям предрассудки (в чём на собственном горьком опыте убедилась медицинская школа Святого Георгия). Нам надо понимать, что успех — это не нейтральный критерий. И если мы хотим, чтобы ИИ-системы принимали решения лучше людей, нам, вероятно, придётся устанавливать для чат-ботов стандарты, по строгости значительно превосходящие стандарты для людей.

Почему сложно создавать этически безупречные алгоритмы

Виной тому несколько обстоятельств.

Алгоритмы — это чёрный ящик

В случае с чёрными ящиками мы видим входные и выходные данные системы, но сама «магия» — всё, что происходит между ними, — остаётся для нас загадкой. Если у нас нет доступа к логике алгоритма (мы не понимаем, какие факторы он учитывает, а какие игнорирует, какие преобразования выполняет и как устанавливает соответствия) — нам крайне сложно выявить и устранить алгоритмическую предвзятость.

Скажем, если программа для отбора резюме отдаёт предпочтение кандидатам-мужчинам, как узнать, чем обусловлен такой выбор, присутствует ли здесь гендерная предвзятость и как это исправить? Даже алгоритмы, созданные на основе открытого программного кода, часто не видны пользователям и защищены как коммерческая тайна. Из-за этого довольно сложно обеспечить прозрачность, справедливость и подотчётность.

Вокруг алгоритмов — ореол магии

ИИ-алгоритмы могут казаться нам чем-то магическим. Они, по сути, наделяют нас сверхспособностями. Однако именно эта «магическая» природа может таить в себе опасность, скрывая человеческие решения за завесой простоты и отстранённости.

Ещё в своих ранних работах, посвящённых ELIZA, Джозеф Вейценбаум предостерегал от подобной ловушки. Для него «интеллект» ELIZA был лишь иллюзией, способной ослепить и ввести пользователей в заблуждение. Вейценбаум полагал, что если мы будем воспринимать ELIZA или любую другую компьютерную программу как нечто магическое, то перестанем критически оценивать результаты её работы и внутренние механизмы. И тем самым позволим алгоритмической предвзятости незаметно проникать в систему.

Многие исследователи разделяют это мнение и сегодня. Впечатляющая природа искусственного интеллекта и его возможностей может заставить нас забыть о вполне реальных ресурсах и действиях людей, стоящих за технологиями. И хотя нам свойственно увлекаться мистикой, отказ от восприятия ИИ как магии может, напротив, приблизить нас к созданию более справедливых и объективных алгоритмов.

Нейтральность алгоритмов — предмет для дискуссий

Многие эксперты уверены, что создать «нейтральную» технологию невозможно и некоторые задачи в принципе не следует доверять алгоритмам машинного обучения. Особенно если речь о сферах, где цена ошибки непомерно высока. Например, при выборе методов лечения или в системе уголовного правосудия.

Так или иначе, нет единого мнения о том, стоит ли полностью исключить определённые задачи из сферы применения ИИ в силу их особой чувствительности или всё-таки у нас получится со временем сделать системы достаточно справедливыми для использования в любых областях.

И хотя сейчас нам ещё далеко не всё известно об алгоритмической предвзятости, мы должны понимать, что алгоритмы подвержены влиянию человеческих предубеждений и ошибок. И прилагать некоторые усилия, чтобы эти скрытые искажения не воспроизводились в беспрецедентных масштабах. А пока простой ответ на вопрос, может ли чат-бот быть расистом: иногда — да.