Инструментальные условные рефлексы (или обучение методом проб и ошибок)

При выработке классического УР последовательность событий в опыте никак не зависит от поведения животного. Она устанавливается либо экспериментатором, либо специальной программой, в соответствии с которой включаются те или иные стимулы, и в ответ на них можно наблюдать образование условных реакций.
Иначе обстоит дело при образовании инструментальных условных рефлексов. Здесь условно-рефлекторная реакция не является копией безусловно-рефлекторной, возникающей в результате действия подкрепляющего раздражителя. На том же пищевом подкреплении может быть выработан инструментальный условный рефлекс: нажим лапой на педаль - у собак, клевание диска - у голубей или прыжок на полку - у кошек. К инструментальным УР относится также обучение подопытного животного находить путь к пище или избегать неприятных стимулов в лабиринте. Инструментальным УР является и реакция избегания - навык переходить в тот отсек экспериментальной камеры, где отсутствует болевое подкрепление.
Между классическими и инструментальными условными рефлексами существуют определенные различия. При классических - временная связь между условным сигналом и безусловной реакцией возникает непроизвольно при действии безусловного раздражителя (подкрепления). При инструментальных условных рефлексах подкрепление, например пища, дается только после того, как животное совершает определенное действие, которое не имеет прямой связи с безусловным раздражителем.
Начало исследований инструментальных УР связано с именем Э. Торндайка. Как уже говорилось, этим ученым была создана методика, получившая название метода "проблемных ящиков". Она заключалась в том, что посаженное в ящик животное должно было найти выход из него, открыв дверцу. Сначала животное совершало много разных действий (проб), допуская при этом много ошибок, пока ему не удавалось случайно нажать на задвижку, запирающую дверь ящика. При последующих пробах оно освобождалось все быстрее и быстрее. Такое обучение Торндайк и назвал "методом проб и ошибок". В дальнейшем обучение животного подобным действиям получило название инструментальных, или оперантных, условных рефлексов. Дальнейшее развитие метод инструментальных условных рефлексов получил в работах Б. Скиннера, а затем он стал основным в исследованиях бихевиористов (анализ связей "стимул-реакция"). При этом они полагали, что инструментальные условные рефлексы настолько отличаются от классических, что результаты их образования не стоит даже и сравнивать. Предполагалось, что инструментальные рефлексы являются реакциями более высокого ранга, чем классические, и потому их можно использовать в качестве критерия уровня развития высшей нервной деятельности. Однако дальнейшие исследования не подтвердили данное предположение и показали, что эти рефлексы в ряду беспозвоночных могут быть выработаны начиная уже с кольчатых червей, а у позвоночных - с костистых рыб.
Скиннер считал, что любое поведение, относящееся к категории " оперантное ", можно эффективно модифицировать, если при его выполнении давать животному подкрепление. Например, крысу можно обучить нажимать на рычаг, если сначала сопровождать подкреплением любые ее действия в той части камеры, где она находится. Постепенно крыса обучается держаться вблизи рычага, и тогда подкрепление дают только если она касается рычага мордой или лапкой (для этого иногда на рычаг даже кладут пищу). Через некоторое время подкрепление дается только после выполнения четких движений - нажатий (одного или нескольких) лапкой на рычаг.
Такое постепенное видоизменение поведения животного в результате вмешательства экспериментатора называется методом последовательного приближения или формированием поведения. Именно такой подход скиннер предложил как эффективный способ анализа поведения. Если для выработки классических условных рефлексов необходимы сочетания условных сигналов и подкрепления, то при методике свободного оперантного поведения, предложенной Скиннером, экспериментатор сопровождает подкреплением выполнение животным только определенного, намеченного им действия.
С помощью метода "последовательного приближения" у животных удается сформировать самые разнообразные, сложные и иногда неожиданные навыки. Данный метод широко используется при практической дрессировке животных.
Примером продуктивного использования метода последовательного приближения в формировании поведения является работа знаменитой американской дрессировщицы дельфинов и психолога К. Прайор (1995).
Образование инструментальных условных рефлексов по механизму "последовательного приближения" играет важную роль в организации поведения животных не только в эксперименте, но и в естественных условиях.
Дрессировка.
Все домашние и дикие животные, вовлеченные в сферу деятельности человека, в большей или меньшей степени подвергаются дрессировке. Современная теория дрессировки основывается на данных многих психологических и физиологических школ и направлений. Особое внимание при этом уделяется значению мотиваций, потребностей и эмоций в поведении, а также разнообразным формам обучения. Дрессировка является более сложным процессом, чем простое обуславливание или оперантное научение. Выполняемые животным действия и движения, хотя и входят в поведенческий репертуар вида, являются зачастую непривычными или трудноосуществимыми в заданных дрессировщиком условиях. Процесс дрессировки не сводится к простой выработке условных рефлексов, а является сложным комплексным обучением, основанным на совершенствовании и видоизменении врожденной основы психической деятельности. В процессе дрессировки формируются и знания, и умения, и навыки, фактически создаются новые формы и программы поведения.

• Дрессировка делится, по М.А. Герд, на три стадии:
• Наталкивание - задача: впервые вызвать у животного нужную систему движений. Это осуществляется 3 способами: Непосредственное наталкивание - следование животного или поворачивание головы вслед за пищевыми или иными актуальными раздражителями. Косвенным наталкиванием провоцируются движения, непосредственно не направленные на раздражитель, но обуславливаемые общим возбуждением. При сложном наталкивании дрессировщик вырабатывает у животного сначала определенный навык, а потом меняет ситуацию, заставляя животного применять выработанное умение.
• Стадия отработки - этап, при котором совершается отшлифовка первичной требуемой системы движений и выработка удобной сигнализации для дальнейшего управления животным. Также на этом этапе происходит замена пищевого награждения положительной реакцией дрессировщика на подаваемый им сигнал.
• Стадия упрочнения - усилия дрессировщика направлены на закрепление навыка и надежность его воспроизведения на сигнал дрессировщика.

Произведенный М.А. Герд анализ дрессировки указывает на сложность, гетерогенность и многоплановость поведения животных при дрессировке. Аналогичная картина наблюдается и при приобретении навыка животными в естественных условиях.
Дрессировка осуществляется путем систематической тренировки животного, при которой подкрепляются требуемые двигательные реакции и их сочетания, и одновременно устраняются нежелательные. Специфическая трудность заключается в том, чтобы дать понять животному, какие действия оно должно выполнить. Желаемые действия животного при дрессировке всегда выполняются в ответ на определенные сигналы человека. Интересно отметить, что довольно часто для выдрессированного животного основным сигналом становится не тот, который подает дрессировщик, а какое-то его действие или даже физиологическая реакция, автоматически совершаемые одновременно с сигналом. Подобное поведение животного зачастую совершенно ошибочно трактуется как улавливание мыслей дрессировщика на расстоянии или самостоятельное решение задач.
Так, в начале XX в. большой популярностью пользовалась история "умного Ганса", лошади, которая демонстрировала способность "считать", "складывать", "извлекать корни", отвечать на вопросы и т.п. Столь "разумное" поведение объяснялось тем, что конь научился замечать малоуловимые движения дрессировщика, которые тот непроизвольно совершал, видя, что конь вот-вот даст правильный ответ. Ориентируясь на эти условные сигналы, конь в нужный момент прекращал стучать копытом.
В начале XX в. (1900-1904) барон В. фон Остен, убежденный в огромных умственных способностях лошадей, обучал нескольких из них различению цветов, азбуке и "счету". Узнавание каждой буквы или цифры лошадь обозначала соответствующим числом ударов копытом. Друг фон Остена художник Редлих обучил таким же образом свою собаку. Наиболее способным учеником оказался орловский рысак Ганс, который производил достаточно сложные арифметические подсчеты, отвечал на разнообразные вопросы, а иногда высказывался по собственной инициативе. Так, супруги Н.Н. и А.Ф. Коте, специально приехавшие для знакомства с ним в 1913 г., рассказывали, что после нескольких относительно коротких ответов на вопросы Ганс заявил: "В поле я встретил милую госпожу Краль, которая меня кормила".
Поведение его было столь впечатляющим, что вводило в заблуждение не только публику, но даже членов специальных комиссий, включая Н.Н. Ладыгину-Котс. Предполагали, что хозяин подает коню некие скрытые сигналы (как дрессировщик - цирковым животным), однако его обследовали 13 экспертов (комиссия психолога К. Штумпфа) и не обнаружили никакого обмана. Они засвидетельствовали, что Ганс действительно "считает" и никаких скрытых сигналов ему не подают. И лишь много позднее наблюдатели постепенно заметили, что Ганс отвечает только на те вопросы, ответ на которые знает сам экспериментатор. Специальный анализ, проведенный психологом О. Пфунгстом, показал, что животное реагирует на мельчайшие непроизвольные (идеомоторные) движения экспериментатора, например на отклонения корпуса на 2 мм, микродвижения бровей, мимику и т.п. Эта невольная подача сигналов происходила, по-видимому, из-за эмоционального напряжения человека, по мере того как число ударов копытом приближалось к искомому. Даже картонный щит, которым пробовал отгородиться от Ганса экспериментатор, не помогал: животное все равно улавливало какие-то только ему понятные знаки для определения правильного ответа.
Для проверки своего предположения Пфунгст специально научил Ганса реагировать на микродвижения, которые он совершал уже сознательно, и продемонстрировал комиссии механизм и природу "математических способностей" этой лошади (по Ладыгиной-Коте, 1914).

• Как указывают З.А. Зорина и И.И. Полетаева (2001), история "умного Ганса" оставила заметный след в развитии науки о поведении животных:
• она показала, сколь сложное поведение могло быть результатом обучения методом проб и ошибок;
• продемонстрировала справедливость "канона Ллойда-Моргана" и актуальность его применения, поскольку в основе поведения этой "мыслящей лошади" лежали чисто условнорефлекторные, а не связанные с мышлением, механизмы;
• впервые привлекла внимание к проблеме чистоты эксперимента с точки зрения возможности неосознанного влияния экспериментатора на его результаты;
• заставила по-новому взглянуть на возможности восприятия животных: способность уловить едва заметные движения человека свидетельствовала об их большой наблюдательности и способности концентрировать внимание.