Сознание, мозг и программы

Джон СЁРЛ

Какую психологическую и философскую значимость следует нам приписать недавним усилиям по компьютерному моделированию познавательных способностей человека? Я считаю, что, отвечая на этот вопрос, полезно отличать «сильный» AI (как я это называю) от «слабого» или «осторожного» AI (Artificial Intelligence — Искусственный Интеллект). Согласно слабому AI, основная ценность компьютера в изучении сознания состоит в том, что он дает нам некий очень мощный инструмент. Например, он дает нам возможность более строгим и точным образом формулировать и проверять гипотезы. Согласно же сильному AI, компьютер — это не просто инструмент в исследовании сознания; компьютер, запрограммированный подходящим образом, на самом деле и есть некое сознание в том смысле, что можно буквально сказать, что при наличии подходящих программ компьютеры понимают, а также обладают другими когнитивными состояниями. Согласно сильному AI, поскольку снабженный программой компьютер обладает когнитивными состояниями, программы — не просто средства, позволяющие нам проверять психологические объяснения; сами программы суть объяснения.

У меня нет возражений против притязаний слабого AI, во всяком случае в этой статье. Мое обсуждение здесь будет направлено на притязания, которые я определил здесь как притязания сильного AI, именно: на притязание, согласно которому подходящим образом запрограммированный компьютер буквальным образом обладает когнитивными состояниями, и тем самым программы объясняют человеческое познание. Когда я далее буду упоминать AI, я буду иметь в виду сильный вариант, выраженный в этих двух притязаниях.

Я рассмотрю работу Роджера Шэнка и его коллег в Йейле (Schank and Abelson 1977), так как я знаком с ней больше, чем с другими подобными точками зрения, и потому что она представляет собой очень ясный пример того типа работ, которые я хотел бы рассмотреть. Но ничего в моем последующем изложении не зависит от деталей программ Шэнка. Те же аргументы приложимы и к SHRDLU Винограда (Winograd 1973), и к ELIZA Вейценбаума (Weizenbaum 1965), и, в сущности, к любому моделированию феноменов человеческой психики средствами машин Тьюринга. Очень коротко, опуская разнообразные детали, можно описать программу Шэнка следующим образом: цель программы — смоделировать человеческую способность понимать рассказы. Для способности людей понимать рассказы характерно, что люди способны отвечать на вопросы о данном рассказе даже в тех случаях, когда даваемая ими информация не выражена в рассказе явным образом. Так, например, представьте, что вам дан следующий рассказ: «Человек зашел в ресторан и заказал гамбургер. Когда гамбургер подали, оказалось, что он подгорел, и человек в гневе покинул ресторан, не заплатив за гамбургер и не оставив чаевых». И вот если вас спросят: «Съел ли человек гамбургер?», вы, видимо, ответите: «Нет, не съел». Точно так же, если вам предъявят следующий рассказ: «Человек зашел в ресторан и заказал гамбургер; когда гамбургер подали, он ему очень понравился; и покидая ресторан, он перед оплатой по счету дал официантке большие чаевые,» и спросят: «Съел ли человек свой гамбургер?», вы, видимо, ответите: «Да, съел». И вот машины Шэнка могут точно так же отвечать на вопросы о ресторанах. В этих целях они обладают неким «представлением» («репрезентацией») той информации о ресторанах, какая бывает у людей и какая дает людям возможность отвечать на подобные вопросы, когда им предъявлен некий рассказ, вроде тех, что приведены выше. Когда машине предъявляют рассказ и затем задают вопрос, она распечатает такой ответ, какой мы ожидали бы от человека, которому предъявлен подобный рассказ. Приверженцы сильного AI утверждают, что в этой последовательности вопросов и ответов машина не только моделирует некую человеческую способность, но что, кроме того:

1. можно сказать буквальным образом, что машина понимает рассказ и дает ответы на вопросы;

2. то, что делают машина и ее программа, объясняет человеческую способность понимать рассказ и отвечать на вопросы о нем.

Мне, однако, представляется, что работа Шэнка никоим образом не подкрепляет ни одно из этих двух утверждений, и я сейчас попытаюсь показать это.

Любую теорию сознания можно проверить, например, так: задаться вопросом, что бы это означало, что мое сознание на самом деле функционирует в соответствии с теми принципами, о которых данная теория утверждает, что в соответствии с ними функционируют все сознания. Приложим этот тест к программе Шэнка с помощью следующегомысленного эксперимента. Представим себе, что меня заперли в комнате и дали некий массивный текст на китайском языке. Представим себе далее, что я не знаю ни письменного, ни устного китайского языка (так оно и есть на самом деле) и что я не уверен даже, что распознал бы китайский письменный текст в качестве такового, сумев отличить его, скажем, от японского письменного текста или от каких-нибудь бессмысленных закорючек. Для меня китайское письмо как раз и представляет собой набор бессмысленных закорючек. Представим себе далее, что вслед за этой первой китайской рукописью мне дали вторую китайскую рукопись вместе с набором правил сопоставления второй рукописи с первой. Правила эти на английском языке, и я понимаю их, как понял бы любой другой носитель английского языка. Они дают мне возможность сопоставить один набор формальных символов со вторым набором формальных символов, и единственное, что значит здесь слово «формальный», — то, что я могу распознавать символы только по их форме. Представьте себе теперь, что мне дали третью китайскую рукопись вместе с некоторыми инструкциями, — вновь на английском языке, — дающими мне возможность сопоставлять элементы этой третьей рукописи с первыми двумя, и эти правила учат меня, как в ответ на те или иные формальные символы из третьей рукописи выдавать определенные китайские символы, имеющие определенные очертания. Люди, которые дали мне все эти символы, называют первый текст «рукописью», второй — «рассказом», а третий — «вопросами», но я всех этих названий не знаю. Кроме того, они называют символы, которые я выдаю в ответ на третий текст, «ответами на вопросы», а набор правил на английском языке, который они дали мне, — «программой». Чтобы слегка усложнить эту историю, вообразите себе, что эти люди также дали мне некие рассказы на английском языке, которые я понимаю, и они задают мне вопросы на английском языке об этих рассказах, и я выдаю им ответы на английском языке. Представьте себе также, что после некоторого промежутка времени я так набиваю руку в выполнении инструкций по манипулированию китайскими символами, а программисты так набивают руку в писании программ, что при взгляде со стороны — то есть с точки зрения какого-либо человека, находящегося вне комнаты, в которой я заперт, — мои ответы на вопросы абсолютно неотличимы от ответов настоящих носителей китайского языка. Никто не сможет сказать, — если он видел только мои ответы, — что я ни слова не говорю по-китайски. Представим себе далее, что мои ответы на английские вопросы неотличимы от ответов, которые бы дали настоящие носители английского языка (как этого и следовало ожидать) — по той простой причине, что я и есть настоящий носитель английского языка. При взгляде со стороны, — с точки зрения какого-нибудь человека, читающего мои «ответы», — ответы на китайские вопросы и ответы на английские вопросы равно хороши. Но в случае китайских ответов, в отличие от случая английских ответов, я выдаю ответы, манипулируя неинтерпретированными формальными символами. Что же касается китайского языка, я веду себя попросту как компьютер; совершаю вычислительные операции на формальным образом определенных элементах. В том, что касается китайского языка, я есть просто инстанциация компьютерной программы.

И вот претензии сильного AI состоят в том, что программированный компьютер понимает рассказы и его программа в некотором смысле объясняет человеческое понимание. Но мы теперь можем рассмотреть эти претензии в свете нашего мысленного эксперимента.

1. Что касается первой претензии, мне кажется совершенно очевидным, что в данном примере я не понимаю ни одного слова в китайских рассказах. Мои входы и выходы неотличимы от входов и выходов носителя китайского языка, и я могу обладать какой угодно формальной программой, и все же я ничего не понимаю. По тем же самым основаниям компьютер Шэнка ничего не понимает ни в каких рассказах - в китайских, в английских, в каких угодно, поскольку в случае с китайскими рассказами компьютер — это я, а в случаях, где компьютер не есть я, он не обладает чем-то большим, чем я обладал в том случае, в котором я ничего не понимал.

2. Что касается второй претензии, — что программа объясняет человеческое понимание, - мы видим, что компьютер и его программа не дают достаточных условий понимания, поскольку компьютер и программа работают, а между тем понимания-то нет. Но, может быть, при этом создается хотя бы необходимое условие или делается существенный вклад в понимание? Одно из утверждений сторонников сильного AI состоит в том, что когда я понимаю некий рассказ на английском языке, я делаю в точности то же самое — или, быть может, почти то же самое, — что я делал, манипулируя китайскими символами. Случай с английским языком, когда я понимаю, отличается от случая с китайским языком, когда я не понимаю, просто тем, что в первом случае я проделываю больше манипуляций с формальными символами.

Я не показал, что это утверждение ложно, но в данном примере оно определенно должно казаться неправдоподобным. А той правдоподобностью, которой оно все же обладает, оно обязано предположению, будто мы можем построить программу, которая будет иметь те же входы и выходы, что и носители языка, и вдобавок мы исходим из допущения, что для носителей языка имеется такой уровень описания, на котором они также являются инстанциациями программы. На основе данных двух утверждений мы допускаем, что даже если программа Шэнка не исчерпывает всего, чтобы мы могли бы узнать о понимании, она, возможно, есть хотя бы часть этого. Я допускаю, что это эмпирически возможно, но пока никто не привел ни малейшего основания, чтобы могли полагать, что это истинно, мой пример наводит на мысль, — хотя, конечно, и не доказывает, — что компьютерная программа попросту не имеет никакого отношения к моему пониманию рассказа. В случае китайского текста у меня есть все, что может вложить в меня искусственный интеллект посредством программы, но я ничего не понимаю; в случае английского текста я понимаю все, но пока что нет никаких оснований думать, что мое понимание имеет что-то общее с компьютерными программами, т. е. с компьютерными операциями на элементах, определенных чисто формальным образом. Поскольку программа определена в терминах вычислительных операций на чисто формально определенных элементах, мой пример наводит на мысль, что эти операции сами по себе не имеют интересной связи с пониманием. Они наверняка не составляют достаточных условий, и не было приведено ни малейшего основания считать, что они составляют необходимые условия или хотя бы вносят какой-то существенный вклад в понимание. Заметьте, что сила моего аргумента состоит не просто в том, что различные машины могут иметь одни и те же входы и выходы при том, что их работа основана на разных формальных принципах, — дело вовсе не в этом. Дело в том, что какие бы формальные принципы вы ни закладывали в компьютер, они будут недостаточными для понимания, поскольку человек сможет следовать этим формальным принципам, ничего не понимая. Не было предложено никаких оснований, чтобы думать, будто такие принципы необходимы или хотя бы полезны, поскольку не было дано никаких оснований, чтобы думать, что когда я понимаю английский язык, я вообще оперирую с какой бы то ни было формальной программой.

Но что же все-таки имеется у меня в случае английских предложений, чего у меня нет в случае китайских предложений? Очевидный ответ состоит в том, что в отношении первых я знаю, что они значат, а в отношении вторых у меня нет ни малейшего представления, что они могли бы значить. Но в чем такое представление могло бы состоять и почему мы не могли бы снабдить им машину? Почему машина не могла бы узнать нечто такое обо мне, что означало бы мое понимание английских предложений? Я вернусь к этим вопросам позднее, но сначала хочу продолжить свой пример.

У меня были случаи представить этот пример некоторым людям, работающим в области AI, и, что интересно, они, по-видимому, оказались не согласны друг с другом, что считать правильным ответом на него. У меня скопилось поразительное разнообразие ответов, и ниже рассмотрю самые распространенные из них (классифицированные в соответствии с их географическим происхождением).

Но сначала я хочу упредить некоторые распространенные недоразумения насчет «понимания»: в ряде из этих дискуссий можно найти множество причудливых толкований слова «понимание». Мои критики указывают, что есть много различных степеней понимания; что «понимание» — это не простой двухместный предикат; что есть различные виды и уровни понимания, и часто даже закон исключенного третьего невозможно простым образом приложить к утверждениям формы «х понимает у»; что во многих случаях вопрос, понимает ли х у, оказывается вопросом нашего решения, а не простым фактическим вопросом и так далее. На все это я хочу ответить: «Конечно, конечно». Но все это не имеет никакого отношения к обсуждаемым вопросам. Имеются ясные случаи, в которых можно буквально говорить о понимании, и ясные случаи, в которых о нем нельзя говорить; и мне для моей аргументации в этой статье только и нужны эти два вида случаев. Я понимаю рассказы на английском языке; в меньшей степени я понимаю рассказы по-французски; в еще меньшей степени я понимаю рассказы по-немецки; а по-китайски вообще не понимаю. Что же касается моего автомобиля и моей счетной машинки, то они вообще ничего не понимают; они не по этой части. Мы часто метафорически и аналогически атрибутируем «понимание» и другие когнитивные предикаты автомобилям, счетным машинам и другим артефактам, но такие атрибуции ничего не доказывают. Мы говорим: «Дверь знает, когда открываться, так как в ней есть фотоэлемент», «Счетная машинка знает (умеет, способна), как складывать и вычитать, но не делить» и «Термостат воспринимает изменения температуры». Очень интересно, на каком основании мы делаем такие атрибуции, и это основание связано с тем, что мы распространяем на артефакты нашу собственную интенциональность [Интенциональность — это, по определению, то свойство определенных ментальных состояний, в силу которого они направлены на объекты и положения дел в мире или в силу которого они суть об этих объектах и положениях дел. Таким образом, полагания, желания и намерения суть интенциональные состояния; ненаправленные формы тревоги и депрессии не являются интенциональными состояниями.]; наши инструменты суть продолжения наших целей, и поэтому мы находим естественным приписывать им метафорическим образом интенциональность; но я считаю, что такие примеры не решают никаких философских вопросов. Тот смысл, в каком автоматическая дверь «понимает инструкции» посредством своего фотоэлемента, — это вовсе не тот смысл, в каком я понимаю английский язык. Если имеется в виду, что программированный компьютер Шэнка понимает рассказы в том же метафорическом смысле, в каком понимает дверь, а не в том смысле, в каком я понимаю английский язык, то этот вопрос не стоит и обсуждать. Но Ньюэлл и Саймон (1963) пишут, что познание, которое они атрибутируют машинам, есть в точности то познание, которое присуще людям. Мне нравится прямота этой претензии, и именно эту претензию я буду рассматривать. Я буду аргументировать, что в буквальном смысле слова программированный компьютер понимает ровно столько, сколько автомобиль и счетная машинка, то есть ровным счетом ничего. Понимание чего бы то ни было компьютером не просто частично или неполно (подобно моему пониманию немецкого языка); оно попросту равно нулю.

А теперь рассмотрим ответы: