Чтобы построить алгоритм, нужны две вещи: данные (что произошло в прошлом) и определение успешного результата (что вы хотите найти с помощью этого алгоритма). Затем он определяет, какие критерии приводят к успешному результату. Но ведь определение успеха не может быть универсальным.
Алгоритм — это чьё-то мнение, встроенное в код.
Мы привыкли думать, что алгоритмы объективны и достоверны, но это только маркетинговый трюк, призванный запугать нас и вызвать у нас доверие к алгоритмам и математическим данным.
О’Нил приводит примеры, когда алгоритмы могут нанести серьёзный вред. Так происходит при оценке сотрудников. К примеру, в 2011 году в школьном округе Вашингтона было уволено более 200 учителей после того, как их отсеял алгоритм, хотя у них были отличные рекомендации от родителей и коллег.
Кроме того, алгоритмы часто оказываются причиной вынесения предвзятых приговоров. Новостная организация ProPublica недавно проводила расследование и обнаружила, что алгоритмы, определяющие риск рецидивизма, работают не объективно. При одинаковых преступлениях приговоры чаще выносятся чернокожим американцам.
Все мы подвержены предубеждениям, и мы привносим их в алгоритмы, когда решаем, какие данные нужно учитывать.
Алгоритмы просто повторяют наши прошлые ошибки, автоматизируют существующий порядок. Поэтому мы не можем слепо доверять им, мы должны проверять их на объективность: заново обдумать определение успешного результата, ошибки, от которых не застрахован ни один алгоритм. Как часто они происходят и кого затрагивают? Какова цена таких ошибок?
Специалисты, работающие с данными, не должны быть вершителями справедливости. Пора перестать слепо верить большим данным.
