I. Ответ от систем (беркли)

«Это правда, что тот человек, который заперт в комнате, не понимает рассказа, но дело в том, что он всего лишь часть некоей цельной системы, и эта система понимает рассказ. Перед ним лежит гроссбух, в котором записаны правила, у него имеется стопка бумаги и чернила, чтобы делать вычисления, у него есть "банки данных" — наборы китайских символов. И вот понимание приписывается не просто индивиду; оно приписывается всей этой системе, частью которой он является».

Мой ответ теории систем очень прост: позвольте вашему индивиду интериоризовать все эти элементы системы. Пусть он выучит наизусть все правила из гроссбуха и все банки данных - все китайские символы, и пусть делает вычисления в уме. Тогда индивид будет воплощать в себе всю систему. Во всей системе не останется ничего, что он не охватил бы в себе. Мы можем даже отбросить комнату и допустить, что он работает под открытым небом. Все равно он абсолютно не понимает китайский язык, и тем более этот язык не понимает система, ибо в системе нет ничего, чего не было бы в нем. Если он не понимает, то система никаким образом не сможет понимать, ибо эта система — всего лишь часть его. На самом деле, мне неловко давать даже такой ответ представителям теории систем, ибо эта теория кажется мне слишком неправдоподобной, чтобы начинать с нее. Ее идея состоит в том, что если некий человек не понимает китайского языка, то каким-то образом объединение этого человека с листками бумаги могло бы понимать китайский язык. Мне нелегко вообразить себе, как вообще человек, не зашоренный некоей идеологией, может находить эту идею правдоподобной. И все же я думаю, что многие люди, связавшие себя с идеологией сильного AI, склонны будут в конечном счете сказать нечто очень похожее на это; поэтому давайте рассмотрим эту идею еще чуть-чуть подробней. Согласно одному из вариантов данного взгляда, если человек из примера с интериоризованной системой и не понимает китайского языка в том смысле, в каком его понимает носитель китайского языка (потому что, например, он не знает, что в этом рассказе упоминаются рестораны и гамбургеры и т. д.), все же «этот человек как система манипулирования формальными символами» на самом деле понимает китайский язык. Ту подсистему этого человека, которая ответственна за манипуляцию с формальными символами китайского языка, не следует смешивать с его подсистемой английского языка.

Таким образом, в этом человеке на самом деле оказываются две подсистемы: одна понимает английский язык, а другая — китайский, и «все дело в том, что эти две системы мало как связаны друг с другом». Но я хочу ответить, что не только они мало связаны друг с другом, но между ними нет даже отдаленного сходства. Та подсистема, которая понимает английский язык (допустим, что мы позволили себе на минуту разговаривать на этом жаргоне «подсистем») знает, что наши рассказы суть о ресторанах и поедании гамбургеров, она знает, что ей задают вопросы о ресторанах и что она отвечает на эти вопросы, используя все свои возможности, делая различные выводы из содержания рассказа, и так далее. Но китайская система ничего этого не знает. Тогда как английская система знает, что «hamburgers» указывает на гамбургеры, китайская под система знает лишь, что за такой-то загогулиной следует такая-то закорючка. Она знает только, что на одном конце вводятся различные формальные символы и ими манипулируют по правилам, записанным на английском языке, а на другом конце выходят другие символы. Весь смысл нашего исходного примера состоял в том, чтобы аргументировать, что такой манипуляции символами самой по себе недостаточно для понимания китайского языка в каком бы то ни было буквальном смысле, потому что человек может рисовать такую-то закорючку вслед за такой-то загогулиной, ничего не понимая по-китайски. И постулирование подсистем в человеке не составляет хорошего контраргумента, потому что подсистемы Для нас вовсе не лучше самого человека; они по-прежнему не обладают ничем таким, что хотя бы отдаленно напоминало то, чем обладает говорящий по-английски человек (или подсистема). В сущности, в описанном нами случае китайская подсистема есть попросту часть английской подсистемы — та часть, которая манипулирует бессмысленными символами в соответствии с правилами, записанными английском языке.

Спросим себя, какова основная мотивация ответа от теории тем; какие независимые основания имеются, как предполагается, утверждать, что агент должен иметь в себе некую подсистему, которая понимает (в буквальном смысле слова «понимать») рассказы на тайском языке? Насколько я могу судить, единственное основание стоит в том, что в нашем примере у меня имеются те же самые вход и выход, что у настоящих носителей китайского языка, и программа, приводящая от входа к выходу. Но вся суть наших примеров состояла в том, чтобы попытаться показать, что этого недостаточно для понимания — в том смысле слова «понимание», в каком я понимаю рассказы на английском языке, ибо человек, а стало быть, и набор систем, вместе составляющих человека, могут обладать правильной комбинацией входа, выхода и программы и все же ничего не понимать — в том относящемся к делу буквальном смысле слова «понимать», в каком я понимаю английский язык. Единственная мотивация утверждения, что во мне должна быть некая подсистема, понимающая китайский язык, состоит в том, что я имею некую программу и я успешно прохожу тест Тьюринга; я могу дурачить настоящих носителей китайского языка. Но мы как раз и обсуждаем, среди прочего, адекватность теста Тьюринга. Наш пример показывает, что может случиться так, что есть две «системы» — обе успешно проходят тест Тьюринга, но лишь одна из них действительно понимает; и никудышным контраргументом было бы сказать, что раз обе успешно проходят тест Тьюринга, обе должны понимать, поскольку это утверждение не согласуется с аргументом, гласящим, что та система во мне, которая понимает английский язык, обладает чем-то гораздо большим, чем та система, которая просто оперирует с китайским текстом. Короче говоря, ответ от теории систем попросту уклоняется от сути спора, неаргументированно настаивая на том, что данная система должна понимать по-китайски.

Кроме того, ответ от теории систем, по-видимому, ведет к таким последствиям, которые абсурдны по независимым от нашего спора основаниям. Если мы собираемся сделать вывод, что во мне имеется некие познание, на том основании, что у меня имеются вход и выход, а между ними — программа, то тогда, видимо, окажется, что все и всяческие некогнитивные подсистемы станут когнитивными. Например, на некотором уровне описания мой желудок занимается обработкой информации, и он инстанциирует сколько угодно компьютерных программ, но я так понимаю, что мы не хотели бы сказать, что мой желудок что-то понимает (ср. Pylyshyn 1980). Но если мы примем ответ от теории систем, то трудно видеть, как нам избежать утверждения, будто желудок, сердце, печень и т. д. суть понимающие подсистемы, ибо нет никакого принципиального способа отличать мотивацию утверждения, что китайская подсистема обладает пониманием, от утверждения, что желудок обладает пониманием. Не будет, кстати, хорошим ответом на это, если мы скажем, что китайская система имеет на входе и выходе информацию, а желудок имеет на входе пищу и на выходе продукты пищеварения, ибо с точки зрения агента, с моей точки зрения, информации нет ни в пище, ни в китайском тексте; китайский текст — это попросту скопище бессмысленных закорючек. В случае китайского примера информация имеется только в глазах программистов и интерпретаторов, и ничто не может помешать им толковать вход и выход моих пищеварительных органов как информацию, если они этого пожелают.

Это последнее соображение связано с некоторыми независимыми проблемами в сильном AI и имеет смысл отвлечься на минуту, чтобы разъяснить их. Если сильный AI хочет быть отраслью психологии, он должен уметь отличать действительно ментальные системы от тех, что ментальными не являются. Он должен отличать принципы, на которых основывается работа сознания, от принципов, на которых основывается работа нементальных систем; в противном случае он не даст нам никаких объяснений того, что же такого специфически ментального в ментальном. И дистинкция «ментальное — нементальное» не может зависеть только от точки зрения внешнего наблюдателя — она должна быть внутренне присущей самим системам; иначе любой наблюдатель имел бы право, если бы пожелал, трактовать людей как нементальные феномены, а, скажем, ураганы — как ментальные. Но очень часто в литературе по AI эта дистинкция смазывается таким образом, что в конечном счете это смазывание может оказаться фатальным для претензий AI быть когнитивным исследованием. Маккарти, например, пишет: «Можно сказать, что такие простые машины, как термостаты, обладают убеждениями (beliefs), и обладание убеждениями присуще, кажется, большинству машин, способных решать задачи» (McCarthy 1979). Всякий, кто считает, что сильный AI имеет шанс стать теорией сознания, должен поразмыслить над импликациями этого замечания. Нас просят принять в качестве открытия, сделанного сильным AI, что кусок металла на стене, употребляемый нами для регулирования температуры, обладает убеждениями в точности в том же самом смысле, в каком мы, наши супруги и наши дети обладают убеждениями, и более того — что «большинство» других машин в комнате: телефон, магнитофон, калькулятор, выключатель лампочки — также обладают убеждениями в этом буквальном смысле. В цели данной статьи не входит аргументировать против замечания Маккарти, так что я просто без аргументации выскажу следующее.

Исследование сознания начинается с таких фактов, как то, что люди обладают убеждениями, а термостаты, телефоны и счетные машинки не обладают. Если вы получаете теорию, отрицающую этот факт, то это означает, что вы построили контрпример данной теории, и она ложна. Создается впечатление, что те люди, работающие в AI, которые пишут такие вещи, думают, что могут легко отбросить их, ибо на самом деле не принимают их всерьез, и они не думают, что другие примут их всерьез. Я же предлагаю принять их всерьез — хотя бы на минуту. Поразмыслите напряженно в течение одной минуты, что именно необходимо, дабы установить, что вот этот кусок металла, висящий на стене, обладает настоящими убеждениями: убеждениями с направлением соответствия, пропозициональным содержанием и условиями выполнимости; убеждениями, могущими быть сильными или слабыми; нервными, тревожными или безмятежными убеждениями; догматическими, рациональными или суеверными убеждениями; слепой верой или сомневающимся познанием; убеждениями какого угодно рода. Термостат — не кандидат на обладание такими убеждениями. Равно как и желудок, печень, счетная машинка или телефон. Однако раз мы принимаем эту идею всерьез, заметьте, что истинность его была бы фатальной для претензий сильного AI быть наукой о сознании. Ибо теперь сознание — повсюду. Мы-то хотели узнать, чем отличается сознание от термостатов и печеней. И если бы Маккарти оказался прав, сильный AI не имел бы надежды сообщить нам это.

ОТВЕТ ОТ РОБОТА (ЙЕЙЛ)

«Предположим, мы написали программу, отличную от программы Шэнка. Предположим, мы поместили компьютер внутрь некоего робота, и этот компьютер не просто воспринимал бы формальные символы на входе и выдавал бы формальные символы на выходе, а на самом деле руководил бы роботом так, что тот делал бы нечто очень похожее на сенсорное восприятие, хождение, движение, забивание гвоздей, еду и питье — в общем, все что угодно. Этот робот, к примеру, имел бы встроенную телекамеру, которая давала бы ему возможность «видеть», он имел бы руки и ноги, которые давали бы ему возможность «действовать», и все это управлялось бы его компьютерным «мозгом». Такой робот, в отличие от компьютера Шэнка, обладал бы настоящим пониманием и другими ментальными состояниями».

Первое, на что следует обратить внимание в ответе от робота, вот что: этот ответ молчаливо соглашается с тем, что понимание — вопрос не только манипуляций с формальными символами, ибо этот ответ добавляет некий набор причинных отношений с внешним миром. Но ответ на ответ от робота заключается в том, что добавление таких «перцептуальных» или «моторных» способностей ничего не добавляет к исходной программе Шэнка в том, что касается понимания в частности или интенциональности вообще. Чтобы увидеть это, обратите внимание на то, что тот же самый мысленный эксперимент приложим и к случаю с роботом. Предположим, что вместо того чтобы помещать компьютер внутрь робота, вы помещаете меня внутрь комнаты, и — как и в первоначальном случае с китайскими текстами — вы даете мне еще больше китайских символов с еще большим количеством инструкций на английском языке насчет того, как сопоставлять одни китайские символы с другими и выдавать китайские символы вовне. Предположим далее, что некоторые китайские символы, приходящие ко мне от телекамеры, встроенной в робота, и другие китайские символы, которые выдаю я, служат для того, чтобы включать моторы, встроенные в робота, так чтобы двигались ноги и руки робота, но я ничего этого не знаю. Важно подчеркнуть, что я делаю только одно — манипулирую формальными символами: я не знаю никаких дополнительных фактов. Я получаю «информацию» от «перцептивного» аппарата робота и выдаю «инструкции» его моторному аппарату, ничего этого не зная. Я — гомункулус этого робота, но в отличие от традиционного гомункулуса, я не знаю, что происходит. Я не понимаю ничего, кроме правил манипулирования символами. И вот в этом случае я хочу сказать, что у нашего робота нет никаких интенциональных состояний; он двигается просто в результате функционирования своей электросхемы и ее программы. И более того, инстанциируя эту программу, я не имею никаких интенциональных состояний соответствующего рода. Я только следую инструкциям о манипулировании формальными символами.