Почему пора перестать слепо верить в big data

Кэти О'Нил (Cathy O'Neil)

Математик, специалист по анализу финансовых рынков, автор книги «Оружие математического поражения».

Чтобы построить алгоритм, нужны две вещи: данные (что произошло в прошлом) и определение успешного результата (что вы хотите найти с помощью этого алгоритма). Затем он определяет, какие критерии приводят к успешному результату. Но ведь определение успеха не может быть универсальным.

Мы привыкли думать, что алгоритмы объективны и достоверны, но это только маркетинговый трюк, призванный запугать нас и вызвать у нас доверие к алгоритмам и математическим данным.

О’Нил приводит примеры, когда алгоритмы могут нанести серьёзный вред. Так происходит при оценке сотрудников. К примеру, в 2011 году в школьном округе Вашингтона было уволено более 200 учителей после того, как их отсеял алгоритм, хотя у них были отличные рекомендации от родителей и коллег.

Кроме того, алгоритмы часто оказываются причиной вынесения предвзятых приговоров. Новостная организация ProPublica недавно проводила расследование и обнаружила, что алгоритмы, определяющие риск рецидивизма, работают не объективно. При одинаковых преступлениях приговоры чаще выносятся чернокожим американцам.

Алгоритмы просто повторяют наши прошлые ошибки, автоматизируют существующий порядок. Поэтому мы не можем слепо доверять им, мы должны проверять их на объективность: заново обдумать определение успешного результата, ошибки, от которых не застрахован ни один алгоритм. Как часто они происходят и кого затрагивают? Какова цена таких ошибок?

Специалисты, работающие с данными, не должны быть вершителями справедливости. Пора перестать слепо верить большим данным.