Google Translate преобразовала нейтральные по гендерному признаку турецкие термины для определенных профессий в «он врач» и «она медсестра» на английском языке. Камера Nikon попросила своего азиатского пользователя не моргать, хотя никто на фотографии этого не делал.
От смешного до пугающего, алгоритмического уклона - социальных предрассудков, встроенных в ИИ, которые играют все более значительную роль в обществе, - выставлены годами. Но, похоже, в 2017 году мы достигли переломного момента в общественном сознании.

Возможно, именно то, как машинное обучение теперь решает все, от наших плейлистов до наших поездок, кульминацией которых являются ошибочные алгоритмы социальных сетей, которые повлияли на президентские выборы с помощью фальшивых новостей. Между тем, повышенное внимание со стороны средств массовой информации и даже художественных миров подтверждает и освещает осведомленность об искусственном интеллекте за пределами технологий и научных кругов.

Теперь мы видим конкретный откат. Недавно Нью-Йоркский совет принял то, что может быть первым в США законопроектом о прозрачности ИИ, требуя от государственных органов обнародовать алгоритмы принятия решений. Исследователи запустили новые институты для изучения предрассудков ИИ (наряду с ACLU), в то время как Кэти О'Нил, автор книги «Оружие уничтожения математики», запустила алгоритмическую аудиторскую консультацию под названием ORCAA. Суды в Висконсине и Техасе начали ограничивать алгоритмы, устанавливая «предупреждающий знак» о его точности в предсказании преступности в первом случае и позволяя учителям бросать вызов их расчетным рейтингам производительности в последнем.

«2017 год, возможно, был годом водоразделов, и я предсказываю, что в ближайшие год-два эта проблема будет продолжать расти только по важности», - сказал Арвинд Нараянан, доцент по информатике в Принстоне и эксперт по защите данных. «То, что изменилось, - это осознание того, что это не конкретные исключения из расовой и гендерной предвзятости. Почти определение того, что машинное обучение будет собирать и, возможно, усиливать существующие человеческие предрассудки. Эти проблемы неизбежны».

Нараянан соавтор статьи, опубликованной в апреле, анализирует значение слов в соответствии с ИИ. Помимо их словарных определений слова имеют множество социально сконструированных коннотаций. Исследования на людях показали, что они быстрее ассоциируют имена мужчин с такими словами, как «исполнительные» и женские имена с «браком», и ИИ этого исследования тоже. Программное обеспечение также воспринимало европейские американские имена (Paul, Ellen) как более приятные, чем афро-американские (Malik, Shereen).

ИИ узнал об этом, изучая человеческие тексты - «общий обход» в онлайн-письме, а также в Новостях Google. Это основная проблема с ИИ: его алгоритмы не нейтральны, и причина их предвзятости в том, что общество предвзято. «Биас» - это просто культурный смысл, и машина не может отделить неприемлемый социальный смысл (мужчины с наукой, женщины с искусством) из приемлемых (цветы приятны, оружие неприятно). Предвзятый ИИ - это ИИ, который точно воспроизводит мир.

«Алгоритмы заставляют нас смотреть в зеркало на общество, как есть», - сказала Сандра Вахтер, юрист и исследователь по этике данных в лондонском Институте Алана Тьюринга и Оксфордском университете.

Для того чтобы ИИ был справедливым, тогда ему нужно не отражать мир, а создать утопию, идеальную модель справедливости. Это требует такого рода оценочных суждений, которые философы и законодатели обсуждали на протяжении столетий, и отвергает общую, но ошибочную риторику Силиконовой долины о том, что ИИ «объективен». Нараянан называет это «фетиш точности» - то, как большие данные позволили разбить все на цифры, которые кажутся заслуживающими доверия, но скрывают дискриминацию.

Затем был ИИ, который стремился измерить красоту. В прошлом году компания Beauty.AI провела онлайн-конкурс, оцененный по алгоритмам. Из примерно 6 000 абитуриентов ИИ выбрал 44 победителя, большинство из которых были белыми, причем только один имел, по-видимому, темную кожу. Человеческая красота - это концепция, обсуждаемая со времен древних греков. Идея о том, что в шести алгоритмах можно измерить как прыщи и морщины, так и сравнивать конкурентов с моделями и актерами, в лучшем случае наивна. Поэтому, возможно невольно, они воспроизводят западно-ориентированные стандарты красоты и колоризма, которые уже существуют.
Главный вопрос на предстоящий год - как устранить эти предубеждения.

Во-первых, ИИ так же хорош, как и данные обучения, полученные в нем. Данные, которые уже пронизаны смехотворными текстами, которые связывают женщин с медсестрами и мужчин с врачами, создадут предвзятость в программном обеспечении. Доступность часто диктует, какие данные используются, например, 200 000 электронных писем Enron, публикуемых властями, в то время как компания подвергалась судебному преследованию за мошенничество, которое, как сообщается, с тех пор использовалось в программном обеспечении обнаружения мошенничества и исследованиях поведения на рабочем месте.

Во-вторых, программисты должны быть более осведомлены о предубеждениях при составлении алгоритмов. Как юристы и врачи, кодеры все чаще берут на себя этические обязанности, за исключением небольшого надзора. «Они диагностируют людей, они готовят планы лечения, они решают, должен ли кто-нибудь попасть в тюрьму», - сказал Вахтер. «Таким образом, люди, разрабатывающие эти системы, должны руководствоваться теми же этическими стандартами, что и их человеческие коллеги».

Это руководство предполагает диалог между технологами и этиками, говорит Вахтер. Например, вопрос о том, какая степень точности требуется судье, чтобы полагаться на предсказание преступности, является моральным вопросом, а не технологическим.

«Вы должны найти социологов, вы должны найти людей гуманитарных наук, которые столкнулись с этими сложными вопросами на протяжении веков».

Важнейшей проблемой является то, что многие алгоритмы являются «черным ящиком», и общественность не знает, как они принимают решения. Технологические компании отступили против большей прозрачности, заявив, что это откроет коммерческую тайну и сделает их восприимчивыми к взлому. Когда Netflix решает, что вам следует смотреть дальше, внутренняя работа не имеет большого общественного значения. Но в государственных учреждениях, занимающихся вопросами уголовного правосудия, здравоохранения или образования, некоммерческая организация AI Now утверждает, что если организм не может объяснить свой алгоритм, он не должен его использовать - ставки слишком высоки.

В мае 2018 года общее правило защиты данных вступит в силу в Европейском союзе, с тем чтобы дать гражданам «право на объяснение» для любого автоматизированного решения и права на оспаривание этих решений. Штрафы за несоблюдение могут составлять до 4 процентов годового дохода, что означает миллиарды долларов для титанов, таких как Google. Критики, включая Вахтера, говорят, что закон нечеткий по своим местам - неясно, как много объясняется алгоритм, а реализация может определяться местными судами, но все же она создает значительный прецедент.

Прозрачность без лучших алгоритмических процессов также недостаточна. Например, объяснения могут быть непонятными для обычных потребителей. «Я не очень верю в изучение кода, потому что он очень сложный, и большинство людей ничего не могут с этим поделать», - сказал Маттиас Спилкамп, основатель некоммерческой организации AlgorithmWatch, базирующейся в Берлине. «Посмотрите на условия и услуги - в этом много прозрачности. Они расскажут вам, что они делают на 100 страницах, а затем, какая альтернатива?» Прозрачность может не решить глубокие предрассудки в ИИ, но в краткосрочной перспективе она создает подотчетность и позволяет гражданам знать, когда они подвергаются дискриминации.

Ближайшее будущее также обеспечит новые проблемы для любого регулирования. Простой ИИ - это в основном математическая формула. Люди устанавливают критерии того, что программное обеспечение «знает». Все чаще ИИ полагается на глубокие нейронные сети, где программное обеспечение кормится данными и создает собственные корреляции. В этих случаях ИИ учит себя. Надежда состоит в том, что она может преодолеть человеческое понимание, выявлять картины, которые мы не можем видеть; страх в том, что мы не знаем, как он принимает решения.

«Прямо сейчас, в компьютерном обучении, вы берете много данных, вы видите, работает ли она, если нет, вы настраиваете некоторые параметры, снова пытаетесь, и, в конечном итоге, сеть отлично работает», - сказал Лорис Д'Антони , доцент Университета Висконсина, Мэдисон, который совместно разрабатывает инструмент для измерения и фиксации смещения под названием FairSquare. «Теперь, даже если есть волшебный способ найти, что эти программы были предвзятыми, как вы это исправите?»

Область исследований, называемая «объяснимый ИИ», направлена на то, чтобы научить машины формулировать то, что они знают. Открытый вопрос заключается в том, будет ли непроницаемость ИИ превосходить нашу способность идти в ногу с ним и держать его подотчетным.

«Это просто вопрос приоритетов наших исследований, - сказал Нараянан. «Люди тратят больше времени на продвижение современных моделей искусственного интеллекта, или они также тратят значительную часть времени, чтобы сделать ИИ более понятным?»

Вот почему важно, чтобы в 2017 году общество в целом все больше сталкивалось с недостатками машинного обучения. Чем больше предубежденный ИИ находится в публичном дискурсе, тем больше приоритетным он становится. Когда такой институт, как ЕС, принимает единообразные законы об алгоритмической прозрачности, разговор звучит во всех 28 государствах-членах и во всем мире: университетам, некоммерческим организациям, артистам, журналистам, законодателям и гражданам. Это люди - вместе с технологами, которые собираются преподавать ИИ, как быть этичным.