Ответ от нескольких обиталищ (беркли)

«Весь ваш аргумент исходит из предпосылки, что AI ведет речь только об аналоговых и цифровых компьютерах. Но это всего лишь современное состояние технологии. Что бы ни представляли собой те каузальные процессы, которые, как вы говорите, существенны для интенциональности (при допущении, что вы правы), в конечном счете мы научимся создавать устройства, обладающие этими каузальными процессами, и это будет искусственным интеллектом. Так что ваши аргументы никоим образом не направлены на способность искусственного интеллекта продуцировать и объяснять познание».

На самом деле у меня нет возражений против этого ответа, разве что одно: он на самом деле тривиализует замысел сильного AI, переопределяя его как все то, что искусственно продуцирует и объясняет познание. Важность же первоначальной претензии, заявленной от лица искусственного интеллекта, состояла в том, что она представляла собой точный вполне определенный тезис: ментальные процессы суть вычислительные процессы над формально определенными элементами. Моя цель заключалась в том, чтобы оспорить этот тезис. Если же претензия переопределена так, что она более не совпадает с этим тезисом, то и мои возражения более неприложимы, потому что у нас в руках не остается никакой проверяемой гипотезы, к которой их можно было бы приложить.

Вернемся теперь к вопросу, на который я обещал попробовать ответить: в предположении, что в моем самом первом примере я понимаю английский язык и не понимаю китайский, и поэтому машина не понимает ни по-английски, ни по-китайски, все же должно быть во мне нечто, благодаря чему истинно, что я понимаю английский язык, и также должно быть во мне соответствующее нечто, благодаря чему истинно, что не пониманию китайский. И почему бы мы не могли передать эти нечто, — чем бы они ни были, — машине?

Я в принципе не вижу никаких оснований, почему бы мы не могли передать машине способность понимать английский или китайский языки, ибо в некотором важном смысле наши тела и наши мозги суть в точности такие же самые машины. Но с другой стороны я вижу очень сильные основания для утверждения, что мы не смогли бы передать такие способности машине в том случае, когда функционирование этой машины определено только в терминах вычислительных процессов над формально определенными элементами; то есть когда функционирование машины определено как инстанциация некоей компьютерной программы. Не потому я способен понимать английский язык и имею еще другие формы интенциональности, что я являюсь инстанциацией компьютерной программы (я, наверное, являюсь инстанциацией какого угодно числа компьютерных программ), но — насколько мы знаем — потому, что я являюсь организмом определенного рода с определенной биологической (т. е. химической и физической) структурой, и эта структура, при определенных условиях, каузально способна продуцировать восприятие, действие, понимание, обучение и другие интенциональные феномены. И один аспект предлагаемого мной аргумента состоит в том, что лишь нечто такое, что обладает этими каузальными способностям и, могло бы обладать интенциональностью. Быть может, другие физические и химические процессы могли бы продуцировать в точности те же эффекты; быть может, к примеру, марсиане также обладают интенциональностью, но их мозги сделаны из иного вещества.

Это — эмпирический вопрос, подобно вопросу о том, может ли фотосинтез осуществляться чем-то имеющим химическое строение, отличное от химического строения хлорофилла.

Но основной пункт предлагаемого мной аргумента состоит в том, что никакая чисто формальная модель никогда сама по себе не будет достаточна для интенциональности, потому что формальные свойства сами по себе не конституируют интенциональность, и они сами по себе не обладают каузальными способностями, за исключением способности порождать, будучи инстанциированными, следующую стадию формализма, когда машина запущена и работает. И любые другие каузальные способности, имеющиеся у конкретных реализаций формальной модели, не имеют отношения к самой этой формальной модели, потому что мы всегда можем поместить эту же самую формальную модель в какую-нибудь иную реализацию, в которой эти каузальные свойства очевидным образом отсутствуют. Даже если носители китайского языка каким-то чудом в точности реализуют программу Шэнка, мы можем поместить ту же самую программу в носителей английского языка, в шланги или в компьютеры — а ведь ни то, ни другое, ни третье не понимает китайского языка, несмотря на программу.

В функционировании мозга важна не та формальная тень, которую отбрасывает последовательность синапсов, а действительные свойства этих последовательностей. Все знакомые мне аргументы в пользу сильного варианта AI настаивают на том, чтобы нарисовать некий абрис, следуя тени, отбрасываемой познанием, и затем утверждать, что эти тени и суть та самая штука, тенями которой они являются.

В заключение я хочу попытаться сформулировать некоторые общефилософские соображения, неявно присутствующие в моем аргументе. Для ясности я постараюсь построить изложение в виде вопросов и ответов и начну с одного избитого вопроса, а именно:

«Может ли машина мыслить?» Ответ очевидным образом положителен. Мы как раз и есть такие машины.

«Да, но может ли мыслить артефакт, машина, сделанная человеком?»

В предположении, что возможно искусственно произвести машину с нервной системой, нейронами, обладающими аксонами и дендритами, и со всем прочим, в достаточной степени похожими на нашу нервную систему, наши нейроны и т. д., ответ на этот вопрос представляется опять же тривиально положительным. Если вы в состоянии точно продублировать причины, то вы в состоянии продублировать и следствия. И на самом деле, возможно, быть может, продуцировать сознание, интенциональность и все такое прочее, используя какие-то другие химические принципы, чем те, что реализованы в людях. Это, как я сказал, вопрос эмпирический.

«Хорошо, ну а может ли мыслить цифровой компьютер?»

Если под «цифровым компьютером» мы понимаем любой предмет, имеющий такой уровень описания, на котором его можно корректно описать как инстанциацию компьютерной программы, то ответ, разумеется, опять же положителен, ибо мы суть инстанциации какого угодно числа компьютерных программ и мы можем мыслить.

«Но может ли какой-нибудь предмет мыслить, понимать и так далее только в силу того, что этот предмет — компьютер с подходящей программой? Может ли свойство инстанциирования программы — подходящей программы, конечно, — быть само по себе достаточным условием понимания?»

Вот это, по-моему, хороший вопрос, хотя обычно его путают с каким-нибудь из тех вопросов, что приведены выше, и ответ на него отрицателен.

«Но почему?»

Потому что манипуляция формальными символами сама по себе не обладает никакой интенциональностью; она лишена смысла; она даже не является манипуляцией символами, ибо эти символы ничего не символизируют. Используя лингвистический жаргон, можно сказать, что они имеют лишь синтаксис, но не имеют семантики. Такая интенциональность, которой, как кажется, обладает компьютер, существует единственно в мозгах тех людей, которые запрограммировали его и используют его, посылают нечто на вход и интерпретируют то, что появляется на выходе.

Цель примера с китайской комнатой состояла в том, чтобы попытаться показать это, показав, что как только мы помещаем нечто в систему, которая на самом деле обладает интенциональностью (человек), и программируем эту систему формальной программой, то вы видите, что эта формальная программа не несет никакой дополнительной интенциональности. Она ничего не прибавляет, например, к способности человека понимать китайский язык.

Именно эта черта AI — различие между программой и реализацией, казавшаяся столь привлекательной, — оказывается фатальной для претензии на то, что моделирование может стать дублированием. Различие между программой и ее реализацией в аппаратном устройстве компьютера, по-видимому, параллельно различию между уровнем ментальных операций и уровнем мозговых операций. И если бы мы могли описать уровень ментальных операций как формальную программу, то, представляется, мы могли бы описать суть сознания, не занимаясь интроспективной психологией или нейрофизиологией мозга Но уравнение «сознание относится к мозгу так же, как программа к аппаратному устройству компьютера» рушится в нескольких пунктах, в том числе в следующих трех:

во-первых, из различия между программой и ее реализацией следует, что одна и та же программа могла бы обладать самыми сумасшедшими реализациями, которым неприсуща форма интенциональности. Визенбаум (Wiezenbaum 1976: Ch. 2), например, подробно рассказывает, как построить компьютер, используя рулон туалетной бумаги и горсть камешков. Точно так же программу, понимающую китайские рассказы, можно запрограммировать в последовательность шлангов, в множество ветряных мельниц или в человека, говорящего только на английском языке, — и тогда ни первая, ни второе, ни третий не станут понимать китайский язык. Начать с того, что камни, туалетная бумага, ветер и шланги — не те вещи, что могут быть наделены интенциональностыо (ею могут быть наделены лишь предметы, обладающие теми же каузальными способностями, что и мозг), и хотя носитель английского языка сделан из подходящего для интенциональности материала, нетрудно видеть, что он не приобретает никакой дополнительной интенциональности, выучив наизусть программу, поскольку выучивание ее наизусть не научит его китайскому языку;

во-вторых, программа чисто формальна, а интенциональные состояния неформальны в этом смысле. Они определены в терминах их содержания, а не формы. Убеждение, что идет дождь, например, определено не как некая форма, а как определенное ментальное содержание с условиями выполнения, направлением соответствия (ср. Searle 1979а) и тому подобным. В сущности, убеждение как таковое даже и не имеет формы в этом синтаксическом смысле, ибо одному и тому же убеждению можно придать неопределенно большое число различных синтаксических выражений в различных языковых системах;

в-третьих, как я отметил выше, ментальные состояния и события суть в буквальном смысле продукты функционирования мозга, но программа не есть продукт работы компьютера в этом же смысле.

«Хорошо, но если программы никоим образом не конституируют ментальные процессы, то почему столь многие думали наоборот? Это ведь нужно хоть как-то объяснить».

На самом деле я не знаю ответа на этот вопрос. Идея, что компьютерные модели могут быть самими реальными вещами, должна была бы показаться подозрительной — прежде всего потому, что компьютер, во всяком случае, не ограничивается моделированием ментальных операций. Никому ведь не приходит в голову, что компьютерное моделирование пожарной тревоги может сжечь дотла соседние дома или что компьютерное моделирование ливня заставит нас всех промокнуть. Так почему же кому-то должно прийти в голову, что компьютерная модель понимания на самом деле что-то понимает? Иногда говорят, что заставить компьютер почувствовать боль или влюбиться — ужасно трудная задача, но любовь и боль ни труднее, ни легче, чем познание или что-то еще. Все, что вам нужно для моделирования — это подходящий вход, подходящий выход и между ними подходящая программа, преобразующая первое во второе. Что бы ни делал компьютер, ничего, кроме этого, у него нет. Спутать моделирование чего-то с дублированием этого самого — ошибка одного и того же рода, идет ли речь о моделях боли, любви, познания, пожара или ливня.

И все же есть несколько оснований, почему должно было казаться, — а многим людям, возможно, и сейчас кажется, — что AI каким-то образом воспроизводит и тем самым объясняет ментальные феномены, и я полагаю, что нам не удастся устранить эти иллюзии, пока мы полностью не выявим основания, их порождающие.

Первое (и, быть может, самое важное) основание - это путаница с понятием «обработка информации»: многие, занимающиеся когнитивной наукой, полагают, что мозг человека с его сознанием занят чем-то таким, что называется «обработкой информации», и точно так же компьютер со своей программой занят обработкой информации; пожары же и ливни, с другой стороны, не занимаются обработкой информации. Таким образом, хотя компьютер может моделировать формальные стороны какого угодно процесса, он стоит в некоем особом отношении к сознанию и мозгу, ибо когда компьютер походящим образом запрограммирован в идеале той же программой, что и мозг, то обработка информации тождественна в обоих случаях, и такая обработка информации и есть на самом деле сущность ментального. Но с этим аргументом беда в том, что он основывается на двусмысленности понятия «информация». В том смысле, в каком люди «обрабатывают информацию», когда они размышляют, скажем, над арифметическими задачками или когда они читают рассказы и отвечают на вопросы о них, — в этом смысле программированный компьютер вовсе не занимается никакой «обработкой информации». Вместо этого он манипулирует формальными символами. Тот факт, что программист и интерпретатор компьютерного выхода используют символы для замещения неких объектов в мире, — не имеет никакого отношения к самому компьютеру. Компьютер, повторим, имеет синтаксис, но лишен семантики. Так, если вы напечатаете компьютеру: «Сколько будет 2 х 2?», то он вам напечатает «4». Но он не имеет никакого представления о том, что «4» означает 4 или что «4» вообще означает что бы то ни было. И дело не в том, что ему не хватает какой-нибудь второпорядковой информации об интерпретации его первопорядковых символов, а в том, что его первопорядковые символы лишены всякой интерпретации, пока речь идет о компьютере. Все, что имеется у компьютера, — это символы и еще раз символы. Поэтому введение понятия «обработка информации» ставит нас перед дилеммой: либо мы толкуем понятие «обработка информации» таким образом, что оно влечет интенциональность как часть процесса обработки, либо мы его так не толкуем. Если первое, то программированный компьютер не занимается обработкой информации, а лишь манипулирует формальными символами. Если второе, то хотя компьютер занимается обработкой информации, он совершает ее лишь в том смысле, в каком ее совершают счетные машинки, термостаты, ливни и ураганы; именно у всех у них имеется такой уровень описания, на котором мы можем описать их так, что они принимают информацию на одном конце, преобразуют ее и продуцируют информацию на выходе. Но в этом случае интерпретировать их вход и выход как информацию в обычном смысле этого слова приходится внешним наблюдателям. И тогда в терминах сходства процессов обработки информации не удастся установить сходство между компьютером и мозгом.

Во-вторых, в большей части исследований по AI наличествуют остатки позиций бихевиоризма или функционализма. Поскольку подходящим образом программированные компьютеры могут иметь схемы входа и выхода, сходные со схемами входа и выхода у людей, у нас появляется соблазн постулировать у компьютеров ментальные состояния, сходные с человеческими ментальными состояниями. Но раз мы видим, что возможно и концептуально и эмпирически, чтобы система обладала человеческими способностями в некоей области, вовсе не обладая при этом интенциональностью, то мы должны суметь превозмочь этот соблазн. Мой настольный калькулятор обладает способностями к счету, но не обладает интенциональностью, и в этой статье я попытался показать, что система может быть способной иметь такие вход и выход, которые дублируют вход и выход настоящего носителя китайского языка, — и все же не понимать по-китайски, как бы она ни была программирована. Тест Тьюринга типичен для этой традиции тем, что он бессовестно бихевиористичен и операционалистичен, и я полагаю, что если бы исследователи AI полностью отреклись от бихевиоризма и операционализма, то исчезла бы большая часть путаницы насчет моделирования и дублирования.

В-третьих, этот остаточный операционализм соединяется с остаточной формой дуализма; в сущности, сильный AI имеет смысл лишь в том случае, если принимается дуалистическое допущение о том, что там, где дело идет о сознании, мозг не имеет значения. В сильном AI (а также и в функционализме) значение имеют программы, а программы независимы от их реализаций в машинах; в сущности, поскольку речь идет об AI, одна и та же программа могла бы быть реализована электронной машиной, картезианской ментальной субстанцией или гегельянским мировым духом. Самое удивительное открытие, которые я сделал, обсуждая эти вопросы, заключается в том, что многие исследователи AI были прямо-таки шокированы моей идеей, что действительные феномены человеческого сознания могут зависеть от действительных физико-химических свойств действительных человеческих мозгов. Но если вы немного подумаете об этом, то поймете, что мне не следовало удивляться; ибо замысел сильного AI имеет хоть какие-то шансы на успех только, если вы принимаете некоторую форму дуализма. Замысел состоит в том, чтобы воспроизвести и объяснить ментальное, конструируя программы, но вы можете осуществить этот замысел лишь в том случае, если сознание не только концептуально, но и эмпирически не зависит от мозга, ибо программа совершенно не зависит от той или иной реализации. Вы можете надеяться воспроизвести ментальное, конструируя и запуская программы, лишь в том случае, если вы полагаете, что сознание отделимо от мозга как концептуально, так и эмпирически (сильная форма дуализма), ибо программы должны быть независимы от мозга, а равно и от любых конкретных форм инстанциации. Если ментальные операции состоят в вычислительных операциях над формальными символами, то, следовательно, они никаким интересным образом не связаны с мозгом; единственная связь заключалась бы в том, что мозгу случилось быть одним из неопределенно большого числа типов машин, способных инстанциировать данную программу. Эта форма дуализма не совпадает с традиционной картезианской разновидностью, утверждающей, что есть субстанции двух родов, но это все же картезианский дуализм в том смысле, что он настаивает на том, что то, что есть в сознании специфически ментального, не имеет внутренней связи с действительными свойствами мозга. Этот дуализм, лежащий в основе AI, маскируется тем, что литература по AI содержит многочисленные инвективы против «дуализма»; чего эти авторы, по-видимому, не осознают, так это того, что предпосылкой их позиции является некая сильная версия дуализма.

«Может ли машина мыслить?» Я-то считаю, что только машины и могут мыслить, и в самом деле только очень особые виды машин, а именно мозги и машины, обладающие теми же каузальными способностями, что и мозги. И это самое главное основание, почему сильный AI так мало рассказал нам о мышлении, ибо ему нечего сказать нам о машинах. По своему собственному определению, он касается программ, а программы — не суть машины. Чем бы еще ни была интенциональность, она биологический феномен, и ее бытие столь же вероятно, сколь оно каузально зависимо от таких конкретных биохимических особенностей ее происхождения, как лактация, фотосинтез и любые другие биологические феномены. Никому не придет в голову, что мы можем производить молоко и сахар, запустив компьютерную модель формальных последовательностей лактации и фотосинтеза, но когда заходит речь о сознании, многие люди упорно хотят верить в такое чудо по причине своего глубокого и прочно укорененного дуализма: сознание, которое они имеют в виду, зависит от формальных процессов и не зависит от совершенно конкретных материальных причин — в отличие от молока и сахара.

В защиту данного дуализма выражается надежда, что мозг — это цифровой компьютер (кстати, первые компьютеры часто называли «электронными мозгами»). Однако это не поможет. Конечно, мозг — цифровой компьютер. Раз любой предмет — цифровой компьютер, отчего бы мозгу не быть им. Но все дело в том, что каузальная способность мозга продуцировать интенциональность не может заключаться в том, что мозг инстанциирует некую компьютерную программу, ибо возьмите любую программу, и найдется такой предмет, который инстанциирует эту программу, но все же не имеет никаких ментальных состояний. В чем бы ни заключалось продуцирование мозгом интенциональности, оно не может заключаться в инстанциировании некоей программы, ибо никакая программа сама по себе недостаточна для интенциональности.