7. Автоматизация. «да что же происходит? ». Рейс 447 и программа «дженнифер»: когда хаотичная природа человека защищает нас от цифровой катастрофы

7. Автоматизация

«Да что же происходит? »

РЕЙС 447 И ПРОГРАММА «ДЖЕННИФЕР»: КОГДА ХАОТИЧНАЯ ПРИРОДА ЧЕЛОВЕКА ЗАЩИЩАЕТ НАС ОТ ЦИФРОВОЙ КАТАСТРОФЫ

Когда сонный Марк Дюбуа вошел в кабину самолета, там царила полная неразбериха. Самолет трясло настолько сильно, что даже показания приборов были трудноразличимы. Жужжащий сигнал тревоги сменялся механическим голосом: STALL STALL STALL{41}. За штурвалами сидели замещающие пилоты. Капитан Дюбуа спокойно спросил: «Что происходит? »[238]

Второй пилот Дэвид Робер был не столь безмятежен: «Мы совершенно потеряли контроль над самолетом, и мы ничего не понимаем! Мы перепробовали все! »

Оба утверждения второго пилота были ошибочными. Команда контролировала самолет. Одна программа действий могла завершить кризисную ситуацию, с которой столкнулись летчики, но они не опробовали этот метод. Но в одном Дэвид Робер был определенно прав: он не понимал, что происходило.

Полет рейса 447 авиакомпании Air France начался без происшествий — самолет вовремя вылетел из Рио-де-Жанейро в 19: 29 31 мая 2009 года и направлялся в Париж. Если заглянуть в прошлое, можно понять, что у всех трех пилотов были слабые места. 32-летний Пьер-Седрик Бонэн был молодым и неопытным. 37-летний Дэвид Робер налетал больше часов, но недавно стал менеджером Air France и больше не отправлялся в рейсы на постоянной основе. У 58-летнего капитана Марка Дюбуа опыта хватало, но накануне у него был вояж по Рио-де-Жанейро со стюардессой в нерабочее время. Позже станет известно, что пилот практически не спал.

К счастью, с учетом всех этих недостатков экипаж управлял одним из лучших самолетов в мире — Airbus 330, бесперебойность и простота управления которого стали легендарными. Как и любой другой современный самолет, А330 оборудован автопилотом, который направляет судно по заданному курсу, но в нем также есть гораздо более сложная система автоматизации под названием fly-by-wire{42}. Обычный самолет дает пилоту непосредственный контроль над закрылками самолета — его штурвалом, рулем высоты и элеронами. Это означает, что летчик с большей вероятностью может допустить ошибку. Fly-by-wire более бесперебойна и безопасна. Она служит связующим звеном между пилотом со всеми человеческими недостатками и механикой самолета, его закрылками, килем и элеронами. Дотошно переводя действия экипажа на машинный язык, система наблюдает, как человек взаимодействует с системой управления, предугадывает его намерения и в точности выполняет маневры. Говоря проще, неуклюжие действия превращаются в грациозные движения.

Из-за этого допустить аварию из-за ошибки пилота на А330 очень сложно, и самолет поставил невероятный рекорд безопасности: после введения самолета в 1994 году в сфере коммерческой эксплуатации не было катастроф в течение первых 15 лет. Но, как ни парадоксально, самолет, который защищает пилотов слишком усердно даже от крошечной погрешности, таит определенную опасность, а именно: когда происшествие все же случается, у пилотов окажется недостаточно опыта, чтобы сориентироваться и найти нужный ответ.

Проблема, с которой столкнулся рейс 447, не была экстраординарной — грозы над Атлантическим океаном к северу от экватора. Ничего серьезного, хотя, возможно, капитан Дюбуа позволил себе лишнего, когда в 23: 02 по времени Рио-де-Жанейро покинул кабину, чтобы вздремнуть, оставив Бонэна руководить самолетом.

Столкнувшись со штормом, последний занервничал. Малейший намек на неприятности влек за собой поток ругательств. «Putain la vache. Putain! » — французский эквивалент «Черт, твою мать. Черт! » Пилот хотел пролететь над грозовым фронтом, на «3-6» — на высоте 36, 000 футов (11 километров) — и выражал сожаление из-за того факта, что, согласно правилам Air France, экипажам рекомендовалось придерживаться более низких эшелонов. Пролет над проблемным участком и правда помог бы избежать некоторых неприятностей, но ограничение по высоте полета существует не зря. Атмосфера становится настолько разреженной, что может едва поддерживать самолет. Допустимые пределы ошибок значительно снижаются. Самолет рискует свалиться в штопор.

В отличие от автомобиля, потеря скорости воздушным судном не зависит напрямую от работы двигателя. Сваливание происходит тогда, когда лайнер пытается слишком резко набрать высоту. Под этим углом крылья теряют подъемную силу, и самолет больше не ведет себя как летательный аппарат. Он теряет скорость и высоту, неуклюже задрав нос вверх.

В разреженном воздухе риски такого происшествия становятся более вероятными. К счастью, на большой высоте есть достаточно широкое окно, чтобы скорректировать режим сваливания. Этот маневр является одним из базовых в обучении управлению самолетом: пилот направляет носовую часть вниз и пикирует. Пике восстанавливает скорость, и крылья набирают подъемную силу. Судно возвращается к горизонтальному полету.

В любом случае, Airbus 330 не начал сваливаться в штопор. Fly-by-wire изначально не позволит пилоту так резко набирать высоту. По крайней мере, так считал Пьер-Седрик Бонэн.

По мере приближения к месту шторма на крыльях лайнера начали образовываться кристаллы льда. Бонэн и Робер включили систему антиобледенения, чтобы замерзшая жидкость не замедляла самолет. Робер пару раз заставлял Бонэна уйти влево, избегая самых опасных участков. Бонэн был немного рассеян, возможно, сетуя на то, что его коллега мог проложить маршрут в обход шторма гораздо раньше. Слабый запах горящей электропроводки заполнил кабину, там поднялась температура — Робер убедил Бонэна, что причиной того была гроза, а не неисправность оборудования.

И затем прозвучал сигнал тревоги. Автопилот отключился. Датчик скорости самолета покрылся льдом и перестал работать — проблема несущественная, но пилотам нужно взять самолет под управление. Но в то же время и по той же причине случилось кое-что еще: система fly-by-wire минимизировала вмешательство, предоставив летчикам больше контроля над лайнером. Без датчика скорости борткомпьютер не мог нянчиться с Пьером-Седриком Бонэном.

Первое последствие проявилось практически немедленно: самолет начало трясти из стороны в сторону, и Бонэн пытался исправить это резкими движениями штурвала. В нормальных условиях fly-by-wire сгладила бы эти рывки, но в тот момент борткомпьютер не вмешивался в управление, и тряска продолжилась. На место дотошного переводчика, понимающего и объясняющего ситуацию, пришел начинающий, воспринимающий все буквально и выполнявший любую инструкцию, неважно, насколько глупой она была.

И затем Бонэн совершил ошибку: он потянул за рычаг управления, и самолет начал резко набирать высоту.

Неясно, зачем пилот так поступил. Возможно, казалось, что там, наверху, спокойнее. «Нехорошо», бормотал он, что нельзя лететь над штормовыми облаками. Но в разреженном воздухе резкий набор высоты приведет к сваливанию самолета. Электроника А330 прекрасно это знала, и, когда носовая часть самолета поднялась вверх, а самолет начал терять скорость, автоматический голос стал говорить по-английски: STALL STALL STALL. Это слово прозвучало 75 раз в последующие 4, 5 минуты. Члены команды ни разу не обратили на него внимания.

Вопреки предупреждению, Бонэн продолжал тянуть рычаг, и в черных облаках над Атлантическим океаном самолет за минуту взмыл на 2 километра. Но скорость продолжала падать: вскоре машина начала сползать вниз, к шторму и к толще воды, которую от лайнера отделяли 11, 4 километра. Бонэн совершил элементарную ошибку. Каждый пилот изучает режимы сваливания и то, как выйти из них: направить нос самолета вниз и набрать скорость. Если бы он или Робер понимали, что происходило, они бы исправили проблему, по крайней мере до того, как дело приняло совсем серьезный оборот. Но они не понимали. Почему?

Возможно, барьером стал язык. Пилоты были французами и говорили в кабине по-французски; STALL, STALL, STALL звучало на английском. Но все пилоты говорят по-английски, чтобы они могли общаться с авиадиспетчером в любой точке мира.

Дэвид Робер — еще молодой, немного раздражительный — мог не осознавать, что делал Бонэн. В некоторых самолетах движение рычага, выполненное Бонэном, передалось бы и на рукоятки Робера, так что более опытный пилот отследил бы ошибку коллеги.

Но в А330 управление не связано. Не было у Робера и данных об угле атаки, на который вывел машину Бонэн. Поскольку индикатор скорости покрылся льдом, Робер мог быть не уверен и в показаниях других датчиков.

Что касается Бонэна, он, похоже, реагировал на проблему так, как когда-то поступил в возможно единственной сложной ситуации, с которой ему приходилось сталкиваться, — прерванным заходом на посадку (в какой-то момент он сообщил Роберу, что находился в режиме TOGA — take off / go around, «взлет / уход на второй круг»). При прерванной посадке пилоту необходимо разогнать двигатели и быстро подниматься от земли. На уровне земли воздух плотнее, поэтому самолету проще набирать высоту.

В любом случае прерванная посадка, совершенная Бонэном, произошла бы с помощью системы fly-by-wire, которая попросту не допустила бы сваливание. Возможно, инстинкты шептали пилоту выбираться из опасной ситуации, подняться над молниями и турбулентностью. Если это так, его инстинкты ошибались. Набор высоты не помогал устранить проблему — он и был проблемой.

Но настоящей причиной положения стала fly-by-wire, которая делала слишком многое, чтобы поддерживать безопасность самолетов А330 в течение 15 лет на протяжении миллионов миль полетов. Если говорить точнее, проблемой стала не система, а тот факт, что пилоты обучались, полностью полагаясь на нее. Бонэн страдал оттого, что в авиации принято называть режимом спутанности. Возможно, он не осознавал, что самолет переключился на альтернативный режим управления, который оказывает ему гораздо меньше помощи. Возможно, он знал, что самолет сменил режим, но не понимал последствия в полной мере — то, что его самолет больше не защищен от сваливания. Это наиболее вероятная причина, по которой Бонэн и Робер проигнорировали сигнал тревоги STALL, STALL, STALL, — пилоты могли предположить, что борткомпьютер таким образом предупреждает их о своем вмешательстве для предотвращения сваливания. Иными словами, Бонэн допустил сваливание самолета, так как был абсолютно уверен, что это невозможно. Выйти их режима сваливания он не мог по той же причине.

Усугубляла этот «режим спутанности» нехватка у Бонэна опыта в управлении самолетами без поддержки компьютеров. Хотя он и провел много времени в кабине А330, большая его часть была потрачена на отслеживание показателей и настройку компьютеров самолета, а не непосредственное им управление. И из мизерного количества часов, проведенных за ручным управлением, едва ли хоть пара из них прошла без повышенного внимания fly-by-wire, так как все наверняка приходились на взлет или посадку. Неудивительно, что он инстинктивно управлял самолетом как при прерванном заходе на посадку. Неудивительно, что за штурвалом он чувствовал себя настолько беспомощно.

Пилоты Air France «были страшно некомпетентными», — говорит Уильям Лангевише, писатель и профессиональный авиатор[239]. И Лангевише думает, что знает причину. Он убедительно заявлял на страницах Vanity Fair, что летчики попросту не привыкли управлять своим самолетом на высоте без помощи компьютера. Даже опытный капитан Дюбуа был не в форме: из 346 часов, проведенных за штурвалом в течение последних полугода, лишь четыре приходились на ручное управление, а не медитацию над автопилотом. И даже тогда fly-by-wire работала в полноценном режиме. У каждого из трех пилотов не было возможности отработать свои навыки, потому что борткомпьютер самостоятельно управлял полетом.

Эта проблема имеет название — парадокс автоматизации. Она возникает повсеместно: от ошибок в работе сотрудников атомных станций и команд круизного лайнера до нашей неспособности запоминать телефонные номера, так как все они хранятся в наших мобильных, или того факта, что мы не можем делить или умножать в уме, так как окружены калькуляторами. Чем лучше системы автоматизации, тем менее опытными будут их операторы и тем необычнее ситуации, с которыми они столкнутся[240]. Психолог Джеймс Ризон, автор книги «Человеческие ошибки», писал: «Ручное управление — это высококвалифицированная деятельность, и навыки необходимо постоянно практиковать с целью их сохранения[241]. Однако системы автоматического контроля, которые дают сбой лишь в редких случаях, лишают операторов возможности оттачивать умения… когда необходимо взять ситуацию в свои руки, обычно что-нибудь идет не так. Таким образом, операторам нужно стать еще более квалифицированными, чтобы справиться с нетипичными условиями»{43}.

Итак, парадокс автоматизации имеет три направления. Во-первых, автоматические системы служат причиной некомпетентности из-за простоты обращения и автоматической корректировки ошибок. Поэтому неопытный оператор может работать долгое время до тех пор, пока отсутствие практического опыта вдруг не вскроется, — его некомпетентность является скрытой слабостью, которая, возможно, вообще никогда не обнаружится. Во-вторых, автоматические системы способны ухудшить даже навыки экспертов, отсекая необходимость в практике. В-третьих, автоматика склонна сбоить в необычных ситуациях или сама служить их причиной, требуя вмешательства сверхкомпетентного человека. В каждом из этих трех случаев повышение эффективности и надежности электроники лишь усугубит проблему.

Существует множество примеров, когда автоматизация не создает подобных парадоксов. Веб-страница сервисного центра может обрабатывать рутинные жалобы и запросы, при этом сотрудники избавлены от однообразной работы и могут эффективнее помогать клиентам с проблемами серьезнее.

Совсем иначе ситуация обстоит с самолетами. Автопилоты и незаметная работа системы fly-by-wire не облегчают нагрузку экипажа, чтобы последний сосредоточился на более важных задачах. Вместо этого они позволяет пилотам засыпать на штурвалах — образно или буквально. В конце 2009 года произошел нашумевший инцидент, когда два пилота на автопилоте (не в переносном значении) пролетели мимо аэропорта Миннеаполиса более чем на 160 километров. Они просто уткнулись в свои ноутбуки и отвлеклись[242].

Когда в подобных ситуациях что-то идет не так, сложно быстро прийти в себя и справиться с проблемой, которая с большой вероятностью вскоре усугубится.

Заспанный капитан Дюбуа прибыл в кабину всего лишь через минуту и 38 секунд после того, как отказал индикатор скорости. Самолет по-прежнему летел на высоте 10, 6 километра, хотя и терял в высоте 47 метров в секунду. Система антиобледенения сработала, и датчик скорости снова заработал, но пилоты больше не доверяли ни одному из приборов. Электроника, теперь совершенно исправная, сообщала, что скорость упала почти до нуля, а самолет устремился в сторону океана. Но экипаж, судя по всему, решил, что автоматика не пришла в норму, а засбоила еще сильнее. Дюбуа молчал в течение 23 секунд — это долго. Достаточно для того, чтобы лайнер потерял еще 1, 2 километра в высоте.

Спасти пассажиров и самолет по-прежнему было не поздно — если бы Дюбуа разобрался в ситуации. Нос самолета теперь был задран так высоко, что предупреждение о сваливании больше не звучало — борткомпьютер, как и пилоты, попросту отклонил данные, которые выглядели неправдоподобно. Пару раз Бонэн наклонял штурвал от себя, и снова возникало предупреждение о сваливании STALL, STALL, STALL, которое, несомненно, запутывало его еще сильнее. В какой-то момент он попытался использовать воздушный тормоз, решив, что машина движется слишком быстро, — это было еще одной ошибкой. Самолет пробирался сквозь облака со скоростью менее 60 узлов, то есть около 112 километров в час — это невероятно низкое значение.

Скорость падения была в 2 раза выше. В смятении пилоты какое-то время спорили о том, набирает ли высоту самолет или все же снижается.

В кабине воцарилось полное замешательство. Бонэн и Робер кричали друг на друга, пытаясь управлять самолетом. Трое пилотов не слушали друг друга. Самолет пытался набрать высоту — нос был направлен кверху — и одновременно с этим стремительно терял ее.

Никто не сказал: «Мы сваливаемся. Направь нос самолета вниз и набери скорость».

В 23 часа 13 минут 40 секунд, менее чем через 12 минут после того, как Дюбуа впервые вышел из кабины вздремнуть, и спустя 2 минуты после того, как выключился автопилот, Робер кричал на Бонэна: «Взлетай… взлетай… взлетай… взлетай…» — тогда как поступить нужно было наоборот. Бонэн отвечал, что он все время удерживал рычаг управления на себя, — эта информация могла помочь Дюбуа определить сваливание, только вот у капитана ее не было.

Наконец до Дюбуа, стоящего между пилотами, дошло, что происходит: «Нет, нет, нет… Не взлетай… нет, нет».

Робер понял намек. Он сообщил, что принял управление и направил нос самолета вниз. Самолет начал наконец-то разгоняться. Но он опоздал на минуту — высота составляла 3, 35 километра. На тот момент между падающим самолетом и черными водами Атлантического океана не было достаточного пространства для восстановления поступательной скорости и вывода самолета из пике.

В любом случае Бонэн молча перехватил управление и попытался снова набрать высоту — просто потому, что был в панике. Робер и Дюбуа, возможно, осознали, что самолет заваливался, — но ничего об этом не сказали. Они могли вообще не осознавать, что их коллега управлял лайнером. Последний тоже до конца не понимал, что делал. Последними словами Бонэна были: «Да что же происходит? »

Спустя четыре секунды самолет рухнул в воды Атлантического океана на скорости 201 километр в час. Все находившиеся на борту 228 пассажиров и члены экипажа погибли мгновенно.

Эрл Винер, культовая фигура в области авиабезопасности, умерший в 2013 году, изобрел то, что сейчас известно как «Законы Винера» об авиации и человеческих ошибках. Один из них звучит так: «Цифровые устройства исправляют маленькие ошибки, создавая возможности для крупных»[243].

Мы можем перефразировать его следующим образом: «Автоматизация убирает привычный хаос, но время от времени создает хаос чрезвычайный». Это происходит не только в авиации.

 

Несколько лет назад полицейское управление в Сан-Леандро (Калифорния) сделало как минимум 112 фотографий двух автомобилей местного жителя Майкла Катц-Лакаба. Этот факт был выявлен не в скандальном судебном деле, где Катца-Лакаба обвиняли бы в терроризме или управлении криминальной сетью, а потому, что он подал запрос на доступ к публичным материалам, чтобы увидеть фотографии. И автомобили гражданина были сфотографированы не потому, что он подозревался в преступлении. Камеры снимали все машины, изображения сканировались, номерные знаки регистрировались, и все отправлялось в архив с датой и геометками. Дочери мистера Катц-Лакаба в возрасте пяти и восьми лет тоже попали в архив. Почему? Потому что они находились рядом с машиной, когда сработал виртуальный затвор[244].

Фотографии автомобилей — и детей — мистера Катц-Лакаба были отправлены с миллионами других в Региональный разведывательный центр Северной Калифорнии, который находится в ведении федерального правительства США. Сто миллионов фотографий номерных знаков в секунду доступны для просмотра благодаря программному обеспечению, разработанному компанией из Кремниевой долины Palantir Technologies. Потенциал по борьбе с преступностью с таким обширным и легко анализируемым набором данных очевиден. Но с таким же успехом этот массив можно использовать с менее благородными целями: как рассуждал Катц-Лакаб на встрече с Энди Гринбергом из журнала Forbes, правительство может пролистать базу данных, чтобы узнать, «припарковался ли кто у дома, непохожего на жилище супруга или супруги, навестил аптеку с лечебной марихуаной, центр планирования семьи или акцию протеста».

В отношении такой мощной технологии однозначно нужно организовать дебаты о ее преимуществах и возможностях использования в авторитарных целях, и подобных обсуждений за последние годы было предостаточно. Однако существует другая опасность, проблема, которой уделяют гораздо меньше внимания, но которую подчеркивает наблюдение Винера: что мы делаем в тех редких случаях, когда технология выходит из строя?

Рассмотрим историю Виктора Хэнкинса, обычного гражданина Великобритании, который получил нежелательный подарок на Рождество — штраф за парковку в неположенном месте. Вместо штрафного талона под дворниками неправильно припаркованной машины первым источником информации для Хэнкинса стало письмо из местного совета под его дверью. 20 декабря 2013 года в 20 часов 8 минут и 14 секунд его машина перекрыла автобусную остановку в Брадфорде (Йоркшир) и была сфотографирована камерой, установленной в фургоне парковочной службы, проезжавшей мимо. Компьютер определил номерной знак, нашел его в базе данных и выявил адрес Хэнкинса. Был автоматически создан «пакет доказательств», включающий видеозапись с места, временную отметку и месторасположение. Письмо из городского совета Брадфорда, требующее оплаты штрафа либо судебного разбирательства, было составлено, распечатано и отправлено по почте через такой же автоматический процесс. Была лишь одна проблема: мистер Хэнкинс вообще не парковал автомобиль[245]. Он просто стоял в пробке.

Теоретически тут вообще не должно быть случая парадокса автоматизации. Эта технология должна принимать на себя рутинные обязанности, чтобы человек занялся более важной работой — например, проверкой исключительных случаев вроде того, что произошел с мистером Хэнкинсом, где, в отличие от фотографирования номерных знаков или выдачи штрафных талонов, компьютерный интеллект не поможет.

Но в бюрократии, как и в авиации, тоже есть тенденция чрезмерно доверять машинам. Городской совет Брадфорда изначально отклонил жалобу мистера Хэнкинса и с извинениями признал ошибку лишь тогда, когда тот пригрозил им судебным разбирательством. Это напоминает старую шутку: «человеку свойственно ошибаться, но, чтобы по-настоящему облажаться, нужен компьютер».

В тот же день, когда автомобиль Виктора Хэнкинса был сфотографирован, Google представила нейросеть, которая может определить номера домов на фотографиях, снятых автомобилями в Google Street View. Дайте сети час, утверждала исследовательская команда Google, и она сможет прочитать каждый номер дома во Франции с точностью 96%[246]. Это впечатляет, но даже низкий уровень погрешности создает огромное число ошибок. Во Франции 25 миллионов домов, поэтому нейросеть Google можно представить также как структуру, которая за час может неправильно распознать номера на миллионе построек.

Такая высокая погрешность на самом деле утешает, так как на метод не будут полагаться всецело. Компании вроде UPS или FedEx никогда не согласятся на то, чтобы 1 из 25 их посылок уходили по неверному адресу: это было бы катастрофой для репутации. Французская полиция, как мы надеемся, не будет счастлива тому факту, что вламывается в дверь дома с небольшой вероятностью того, что там живет законопослушный гражданин. И если бы так происходило все время, жалобы рассматривались бы серьезно: когда в службе омбудсменов знают, что сотрудники полиции проваливают 1 дело из 25, то им придется выслушать того, кто утверждает, что попал в эти 4%.

Но что, если Google поработает над точностью своей системы? Теперь лишь 1 ошибка будет приходиться на 24 миллиона правильно распознанных французских домов. Но она может с кем-то произойти, а никто не поверит. Чем реже случается исключение, как с системой fly-by-wire, тем, вероятнее всего, хуже мы на него отреагируем. Мы по умолчанию полагаем, что компьютер всегда прав, и, когда кто-то говорит, что машина ошиблась, то предположим, что человек перед нами сам ошибается или лжет. Что происходит, когда сотрудники частной охранной службы выбрасывают вас из местного торгового центра, потому что система охраны ошиблась и распознала вас как известного карманника? [247] Эта технология уже существует, и в нее вносят изменения, чтобы позволить продавцам выделять наиболее падких на акции покупателей в тот момент, когда они входят в магазин. Когда вы уже находитесь в «криминальном» списке, насколько легко из него выйти?

Автоматизированные системы могут работать безупречно — но если мы слишком доверяем им, от этого страдают живые люди. Рассмотрим опыт Рахины Ибрагим, 39-летнего преподавателя и архитектора, которая училась в докторантуре Стэнфорда. 2 января 2005 года она попыталась вылететь из Сан-Франциско на Гавайи, чтобы выступить со своим исследованием на конференции. Это было достаточно трудное путешествие с учетом того, что Рахина была прикована к инвалидной коляске из-за недавней операции, но оно стало еще труднее. После попытки пройти регистрацию она на глазах своей дочери-подростка была арестована: на нее надели наручники и увезли в изолятор. Спустя несколько часов ей разрешили вылететь на следующий день[248].

Спустя два месяца Рахине, которая на тот момент находилась в своей родной стране Малайзии, сообщили в аэропорту, что ее американская студенческая виза была аннулирована без уведомления. Несмотря на то что ее ребенок имел американское гражданство, она никогда не сможет вернуться в США.

Если для отмены штрафного талона Виктора Хэнкинса понадобилось лишь упомянуть при сотрудниках городского совета Брадфорда о суде, Рахине понадобились 9 лет и $4 миллиона от волонтеров на юридическую поддержку — американское правительство всеми силами пыталось замять дело, — прежде чем американский окружной судья Уильям Элсап огласил шокирующие результаты. Рахина попала в черный список пассажиров по ошибке — возможно, в результате путаницы между Jemaah Islamiyah, террористической группировкой, чье установленное в автомобиле взрывное устройство убило в 2002 году 202 человека на Бали, и Jemaah Islah Malaysia, профессиональной ассоциации жителей Малайзии, которые учатся за рубежом. Рахина была членом второй организации, а не первой.

Как только ошибка возникла в базе данных, она приобрела полную власть над компьютером. Как писал судья, «как только компрометирующая информация опубликована в TSDB [Базе данных для проверки террористов], она может широко распространиться по взаимосвязанному комплексу правительственных баз данных, как и плохая кредитная история, от которой никогда не избавиться». Изначальная ошибка распространилась словно вирус, устранение которого не вызывало интереса ни у одного служебного лица.

Окружающий мир — это хаотичная среда. Вот тут цифра «1» или «7», строчная «L» или прописная «i»? Автомобиль неподвижен: он припаркован или застрял в пробке? Этот человек — карманник или просто на него похож? Эта группа с незнакомым названием — банда убийц или ассоциация международных студентов? В хаотичном мире ошибки неизбежны.

При этом автоматизированные системы стремятся к упорядоченной структуре. Как только алгоритм или база данных поместили вас в конкретную категорию, данные, записанные черным по белому, отвергают любые доводы. Вы карманный вор. Вы припарковались на автобусной остановке. Вы в черном списке пассажиров. Машина так утверждает, наделенная властью правительством, которое годами упорно защищает себя вместо того, чтобы признать, что ошибки случаются.

Сегодня мы попадаем в большее количество списков, чем когда-либо: списки преступников, списки расточительных покупателей, списки людей, которые часто ездят в Сан-Леандро (Калифорния), даже списки жертв насилия[249]. Компьютеры превратили такие списки из неуклюжих ящиков с бумагами в актуальные и постоянно данные. И компьютеры зачастую не несут ответственности: алгоритм, который составляет рейтинги учителей и школ, водителей Uber или компаний в поиске Google, как правило, будет представлять коммерческую тайну. Какие бы ошибки или предубеждения ни были там запрограммированы, он защищен от проверок, его сложно оспорить[250].

При всей силе и неоспоримой пользе подобных данных мы, возможно, еще не признали, насколько упорядоченные массивы не соответствуют хаотичному миру. Мы не предполагаем, что компьютер, который в сотни раз точнее и в миллионы раз быстрее человека, может сделать в 10, 000 раз больше ошибок. И, вспоминая проект научного лесоведения Иоганна Готлиба Бекмана, мы не можем признать, чтоб базы данных не только классифицируют, но еще и изменяют мир.

Это не значит, что мы должны начать уничтожение алгоритмов и массивов с информацией. Даже если мы разделяем сомнения Майкла Катц-Лакаба, многие из нас признают, что компьютеризованные системы оправдывает хотя бы помощь в расследовании преступлений, регулировании дорожного трафика и предотвращении допуска террористов на самолет. Но база данных и алгоритмы, равно как и автопилот, должны существовать для поддержки решений человека. Если мы полностью доверимся машинам, катастрофа неизбежна.

Наша приобретенная из-за технологий беспомощность порой больше забавляет, чем приводит в ужас. В марте 2012 года три японских студента, приехавшие в Австралию, решили отправиться в Норт-Страдброк, руководствуясь GPS-навигатором. По каким-то причинам навигатор не знал, что на проложенном маршруте нужно было каким-то образом пробраться 9 миль через Тихий океан. Подобное, конечно, случается, но ситуация с тремя студентами была поразительной: подчинившись технологиям, они выехали на пляж и илистые участки океана. Когда вода начала плескаться вокруг их Hyundai, они поняли, что застряли. Под взглядами удивленных пассажиров парома студенты оставили машину и пошли вброд к берегу. Машина не подлежала восстановлению. «Мы снова хотим вернуться в Австралию, — сказал один из парней. — Все очень добры, особенно сегодня»[251].

Весело смеяться над несведущими туристами. Но стоит также задаться вопросом, как три разумных существа могут заехать в Тихий океан по инструкциям вышедшего из строя GPS-навигатора{44}. Автоматизированные системы склонны вводить нас в состояние пассивности. В других ситуациях у нас есть хорошо известная тенденция принимать параметры по умолчанию — например, в странах, где людей регистрируют в список доноров органов автоматически, только если они не поставят галочку в пункте об отказе, практически все соглашаются на это. В странах, где вы должны поставить галочку в пункте согласия, процент согласившихся гораздо меньше. То же самое верно и в отношении корпоративных пенсионных программ. Если параметры отличаются от заданных по умолчанию, мы ведем себя иначе — несмотря на тот факт, что это жизненно важные решения[252].

Как оказалось, такая тенденция применима и к автоматизированным процессам: психологи называют ее погрешностью автоматизации. Проблема — в Стэнфорде, в черном списке США, где угодно — заключается в том, что, как только компьютер предложил вариант решения, возникает непреодолимый соблазни принять его без раздумий.

Завести машину в море является крайним примером погрешности автоматизации, но многие пользователи GPS-навигаторов знакомы с менее драматичными последствиями. Когда вы используете навигатор в первый раз, то действуете осторожно. Вы проверяете карту, возможно, распечатываете некоторые направления, знакомитесь с территорией и самостоятельно подсчитываете, сколько займет ваша поездка. Но после трех-четырех успешных выездов наступает привыкание: зачем суетиться, когда навигатор построит маршрут быстрее и достовернее?

GPS-навигатор не будет подводить часто, но когда это произойдет, то случай будет серьезный. Как-то раз я направлялся в отель в центре Йорка, прекрасного средневекового города, окруженного стенами, которые не дают автомобилям заполонить город. Я прибыл поздно ночью и обнаружил, что на моем маршруте идут ночные работы по замене дорожного полотна. Навигатор не понимал этого и рекомендовал двигаться дальше, снося заграждения. К счастью, у меня хватило ума не следовать этим указаниям и ложиться под встречный асфальтоукладчик, но на большее я оказался неспособен, поскольку доверял компьютеру и не озаботился запасными вариантами. Я не знал, где находился сам и где находился мой отель. У меня не было карты — это случилось до возникновения смартфонов, — поэтому я был вынужден бесцельно ездить по округе в надежде, что устройство в конце концов предложит альтернативный маршрут.

После нескольких менее проблемных поездок я вновь начал доверять навигатору — он безукоризненно работал годами до тех пор, пока недавно я не направился к месту проведения загородной свадьбы, вооруженный лишь почтовым кодом. Как выяснилось, компьютер его не знал. Не понимая, почему навигатор подвел меня, я не в состоянии предсказать, когда он может вновь ошибиться.

Гэри Клейн, психолог, который специализируется на исследовании экспертного и интуитивного процесса принятия решений, так формулирует проблему: «Когда алгоритмы принимают решения, люди зачастую прекращают самосовершенствоваться. Алгоритмы усложняют диагностирование причин неудач. По мере того как люди становятся более зависимыми от алгоритмов, здравый смысл может ослабевать, в еще большей степени повышая зависимость. Так создается порочный круг. Люди становятся пассивными и менее бдительными, когда решения принимают алгоритмы»[253].

Аналитики в области решений вроде Кляйна жалуются, что многие разработчики программного обеспечения усиливают проблему, преднамеренно разрабатывая системы, которые вытесняют человеческий опыт параметрами по умолчанию. Если мы хотим использовать их для поддержки человеческого опыта, нужно бороться с системой. Например, GPS-устройства могут предлагать все виды поддержки принятия решений, позволяя водителю изучить варианты, рассмотреть карты и изменить маршрут. Но эти функции становятся все более скрытыми. Нужно потратить время, чтобы их найти, тогда как гораздо легче нажать на «Начать движение» и доверить машине все остальное.

Системы, которые вытесняют, а не поддерживают процесс принятия решений человеком, распространены повсюду. Нас беспокоит, что машины отбирают нашу работу, но не менее серьезная проблема состоит в том, что они захватывают и наш здравый смысл. На огромных складах, так распространенных за кулисами современной экономики, грузчики торопятся схватить продукты с полок и отнести их туда, где их можно упаковать и отправить. В ушах людей находятся наушники: голос «Дженнифер», части программного обеспечения, говорит им, куда идти и что делать, контролируя любое движение. « Дженнифер» разбивает инструкции на крошечные части, чтобы минимизировать ошибки и максимизировать продуктивность, — например, вместо того чтобы взять 18 копий книги с полки, рабочий получит инструкции о том, что нужно пять. Затем еще столько же. И еще. Затем еще три. Работа в подобных условиях превращает людей в машины, состоящие из плоти. Вместо того чтобы просить нас думать или приспосабливаться, компонент программы «Дженнифер» захватил наш мыслительный процесс и обращается с работниками как с дешевым источником визуальной обработки и парой рук[254].

Можно даже предположить, что финансовый кризис 2007-2008 годов, который поверг мир в рецессию, был аналогичен рассеянному движению автомобиля в Тихий океан. Одним из слабых мест, способствовавших кризису, был провал финансовых продуктов под названием «обеспеченные залогом обязательства» (CDO) — чрезвычайно сложные структуры, стоимость которых скрытым образом зависит от здоровья американского ипотечного рынка. Бывалый маркетолог может взглянуть на быстро растущие цены на жилье и задуматься о том, что возможно резкое падение, хотя США не испытывали прежде общенационального синхронного краха. И если тот человек мог обратиться к компьютерам, компьютеры могли бы продемонстрировать катастрофическое воздействие такого краха на стоимость CDO. К сожалению, здесь нет единства взглядов: компьютеры не обладали неявными знаниями опытных людей, поэтому они не могли разработать идею вероятности краха тогда, когда опытные люди не понимали, как их интуиция повлияет на стоимость CDO.

Можно сопротивляться зову алгоритмов. Психолог Ребекка Плиске обнаружила, что опытные метеорологи создают прогнозы погоды, вначале рассмотрев данные и сфо

⇐ Предыдущая3456789101112Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: