Научение методом проб и ошибок торндайк

Эдвард Торндайк,  изучая поведение животных в проблемных ситуациях в своей докторской диссертации: «Интеллект животных. Экспериментальное исследование ассоциативных процессов у животных», сформулировал закон научения «методом проб и ошибок».

Пробы, случайно оказавшиеся удачными, в дальнейшем закрепляются, создавая для внешнего Наблюдателя видимость целесообразного поведения. Например, кошка, посаженная в специальную клетку и лишённая пищи, начинает  метаться по клетке, находит выход, выходит на свободу и: получает пищу. При  повторении опытов время, затрачиваемое животным на то, чтобы выйти из  клетки, постепенно, уменьшается…

«Главная цель Торндайка была показать, что животные учатся, не понимая того, чему их учат, и даже после того, как они научатся выполнять новые действия, они выполняют их тоже без понимания. Он поставил три рода опытов с использованием так называемых проблемных клеток. Эти проблемные клетки применяются в экспериментах по психологии животных до сих пор. Помещённое в такую клетку животное должно было освободиться из клетки, выйти из нее. Для этого надо было открыть запор, который закрывал дверь клетки. Запоры были разные. В первом случае запор был совершенно простым. Животное видело этот запор и могло понять, при каком положении запора дверь закрыта, а при каком она открывается. Например, в первом случае клетка закрывалась крючком или задвижкой. Если ударить по крючку снизу, то он выйдет из петли и дверь откроется. Здесь всё ясно, всё открыто. Животное может действовать с пониманием.

Во втором случае механизм запора был скрытым. В клетке помещалась пластина, которая была на пружине. Она поддерживалась в приподнятом состоянии. Если животное вскакивало на эту плоскость, то натягивался шнур и запор открывался. Таким образом, животное, вскакивая на пластину, открывало этот запор. Хотя механизм запора был скрыт, его связь с открыванием клетки тоже представлялась очевидной.

В третьем случае животное помещалось в клетку, и экспериментатор выжидал, когда животное выполнит некое движение, к освобождению из клетки отношения не имеющее (например, почесывание), — тогда он отпирал клетку. В этом случае, в отличие от двух предыдущих, между действием животного и открыванием клетки никакой разумной связи не было. Это была совершенно условная, произвольно установленная самим экспериментатором связь.

Торндайк дрессировал животных (кошек и собак), чтобы они научились отпирать запоры. Как же вели себя животные в этих трёх разных ситуациях?

Торндайк установил, что животные во всех этих трёх разных ситуациях ведут себя совершенно одинаково. Сначала они беспорядочно бросаются во все стороны, потом выделяют ближайшее поле деятельности, и постепенно находят то движение, которое нужно выполнить, — это удар лапой по крючку, вскакивание на дощечку, почёсывание. Животное начинает все чаще, все быстрее находить нужное движение и освобождается из клетки.

Если взять животное в конце обучения, т. е. когда оно уже приобретет этот навык, то, находясь в клетке, оно ведёт себя как будто разумно: спокойно подходит к запору и ударяет по нему; подходит к дощечке, вскакивает на неё, ждёт, когда дверь откроется, и выходит из клетки. Поведение вроде бы весьма разумное и осуществляется без прежней суеты, с чувством собственного достоинства. Интересно тут вот что: противоречие между внешней разумностью поведения в конце обучения и способом решения задачи по освобождению из клетки. Способ явно прост, путём слепых проб. Он постепенно оттачивается, лишние пробы устраняются, и остаётся только полезное движение. И к концу обучения поведение животного кажется весьма разумным.

Таким образом было доказано, что животное учится не разумно, а только отбирает нужные движения для полезного результата. Задачей Торндайка в этом случае было показать, что животное, научившись этому движению и выполняя его как бы разумно, на самом деле не понимает, что оно делает. И само это поведение разумно лишь внешне, а по сути оно всё равно остаётся неразумным.

Для доказательства этого Торндайк лишь слегка изменял задачу: переносил запор на другое место клетки. Достаточно было, например, несколько задержать открывание двери, как восстанавливалась прежняя картина, и животное начинало прыгать в разные стороны, пытаясь открыть дверь клетки. Правда, эти попытки скорее оттачиваются, скорее приходит научение. Но сам характер поведения снова обнаруживает непонимание ситуации, тем более что очень часто животные подходят к месту, где раньше был запор, и по этому месту ударяют лапой. Но здесь уже нет запора, а животное тем не менее подходит и ударяет по тому же месту, где раньше был запор, по пустому теперь месту. Животное некоторое время стоит совсем в растерянности, потом начинаются беспорядочные движения, хотя запор находится рядом. Эти ошибки очень ясно показывают, что животное научилось выполнять какое-то движение, которое в прошлом приводило к полезному результату, но оно совершенно не учитывает, как воздействуют его движения на механизм запора».

Гальперин П.Я., Лекции по психологии, М., «Университет»; «Высшая школа», 2002 г., с. 88-90.

В противовес гипотезе «проб и ошибок» и последующего научения,  в  опытах над человекообразными обезьянами выяснилось, что они способны найти  выход из проблемной ситуации не путём случайных проб, а мгновенно уловив  отношения между предметами – см. эксперименты Вольфганга Кёлера.

Вопреки широко распространённому в литературе мнению, Эдвард Торндайк использовал, но не предложил термин: «пробы и ошибки». Это впервые сделал в середине XIX века английский психолог Александр Бэн / Alexander Bain [1818-1903].

Критика теории научения методом «проб и ошибок» по Роберту Вудвортсу

Метод проб и ошибок
– старейший из методов поиска новых
решений.

Впервые метод проб
и ошибок был описан немецким физиологом
Э.Торндайком в 1898г.

Метод проб и ошибок
— форма обучения, описанная, основанная
на закреплении случайно совершенных
двигательных и мыслительных актов, за
счет которых была решена значимая для
животного задача. В следующих пробах
время, которое затрачивается животным
на решение аналогичных задач в аналогичных
условиях, постепенно, хотя и не линейно,
уменьшается, до тех пор, пока не приобретает
форму мгновенного решения. В дальнейшем
более точный анализ поведения методом
проб и ошибок показал, что оно не является
полностью хаотическим и нецелесообразным,
как считал Торндайк, но интегрирует в
себе прошлый опыт и новые условия для
решения задачи.

Сегодня, с развитием
электронно-вычислительной техники,
метод проб и ошибок стал отправной
точкой для создания разнообразных
методов случайного поиска, где используется
не просто перебор всех возможных
вариантов, а сложная система «весовых»
коэффициентов, которая позволяют
отбросить неэффективные варианты уже
на ранних этапах поиска.

Метод проб и ошибок
— способ выработки новых форм поведения
в проблемных ситуациях. М. п. и о., широко
используемый бихевиоризмом для объяснения
научения как вероятностного процесса,
получил распространение в психологии
после работ Э. Л. Торндайка, согласно
которым слепые пробы, ошибки и случайный
успех, закрепляющий удачные пробы,
определяют путь приобретения
индивидуального опыта у животных и
человека. Тем самым была выделена
согласованность поведения со средой
на вероятностной основе, что позволило
при интерпретации категории действия
выйти за пределы жесткой альтернативы:
либо механистической, либо телеологической
его трактовки. Гештальтпсихология
подвергла М. п. и о. критике, противопоставив
ему решение проблемы путем инсайта.
Непродуктивность и теоретическая
слабость такого противопоставления
была показана И. П. Павловым. Свое значение
М. п. и о. сохранил лишь в узкой сфере
искусственно создаваемых ситуаций; в
частности, он вошел в состав конструктивных
принципов кибернетических устройств.

2. Метод случайного поиска.

Метод случайного
поиска относится к группе итерационных
методов минимизации.

Итерационные
методы минимизации функции F(x) состоят
в построении последовательности

векторов, то есть
точек x0, x1, …, xk, таких, что F(x0) > F(x1)
>…>F(xk)>… Любой такой метод называется
методом спуска. Естественно, должна
быть обеспечена сходимость. Иными
словами, рассматриваются методы,
позволяющие получить точку минимума
за конечное число шагов, или приблизиться
к ней достаточно близко при соответствующем
числе шагов. Дето в том, что теоретически
все сходящиеся методы этим свойством
обладают, но практически близость к
минимуму в задачах большой размерности
ограничивается ошибками вычислений. В
этой связи необходимо вести вычисления
с самой большой возможной точностью.
Для построения итерационной
последовательности необходимо выбрать
начальное приближение x0. В задачах с
ограничениями это должна быть допустимая
точка, а в задачах без ограничений
теоретически любая точка. Однако
целесообразно использовать всю имеющуюся
информацию о поведении целевой функции
F(x), чтобы выбрать x0 поближе к точке
минимума.

После того, как
начальное приближение получено, прежде
чем перейти к следующей точке нужно
принять два решения:

1). Выбрать
направление, по которому пойдем из x0 в
точку с меньшим значением целевой
функции (направление спуска).

2). Определить
величину шага по направлению спуска.

Для задач безусловной
минимизации любое напрвление является
возможным (никакие ограничения не
мешают), но далеко не все направления
приемлемы. Нас могут интересовать только
те направления, которые обеспечивают
убывание целевой функции, хотя бы при
достаточно малом шаге. Предполагая
непрерывность первых частных производных
целевой функции и используя её разложение
в ряд Тэйлора в произвольной точке х,
получим F(x+λp) ~ F(x) + X(g,p). Здесь g — градиент
функции, вычисленный в точке х. Отсюда
следует, что приращение функции F(x+Xp) –
F(x) < 0 при отрицательном скалярном
произведении (g,p). Итак, направление
спуска должно составлять острый угол
с антиградиентом. Этот вывод справедлив
и для задач с ограничениями, но там ещё
дополнительно требуется, чтобы при
достаточно малом шаге не нарушалось ни
одно из ограничений.

Методы
функционально-структурного исследования
объектов.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Э.Торндайк разработал, так называемые, проблемные клетки, в которые помещал голодное животное, в частности, кошку. В клетке было расположено устройство, с помощью которого можно было открыть дверцу, например, педаль, и выбежать наружу, где находилась пища. При этом из клетки пища была хорошо видна, но достать ее было невозможно. Голодная кошка, впервые посаженная в такую клетку, начинает производить множество различных действий, в частности, пытается дотянуться до пищи, совершает круговые движения и т.д. В определенный момент она может случайно соприкоснуться с запирающим механизмом, в результате чего дверца клетки открывается и кошка выбегает к пище. После этого животное снова помещают в проблемную клетку. Так проделывают до тех пор, пока оно не “догадается” сразу же нажать на педаль, как только окажется в этих условиях. По мере увеличения количества опытов животное все меньше совершает бесполезных движений, все меньше затрачивает времени на разрешение задачи. Э.Торндайк построил на основе этих опытов график научения, на котором отразил зависимость между номером опыта и временем, проведенным кошкой в клетке. График имел вид кривой, медленно спускающейся вниз. Характер кривой говорил о том, что у животного в процессе научения нет внезапного понимания смысла задачи, а оно научается случайно, действуя методом проб и ошибок. Поэтому Торндайк назвал эту форму приобретения опыта “методом проб и ошибок и случайного успеха”.

Положения теории.

 Во-первых, Э.Торндайк выдвинул положение о том, что научение у животных происходит благодаря образованию ассоциации между определенной ситуацией и определенным движением. Например, кошка научается открывать дверцу клетки благодаря тому, что у нее образуется ассоциация между движением, связанным с нажатием на педаль, и данной проблемной ситуацией. В результате этого, как только ее помещают в данную проблемную ситуацию, она сразу же совершает ассоциированное с этой ситуацией движение. Революционный смысл данного положения заключался в том, что понятие “ассоциация” применялось для объективных явлений. Прежняя психология утверждала, что ассоциация при научении возникает между субъективными феноменами сознания (мыслями, идеями, образами). Понимание ассоциации, предложенное Э.Торндайком, давало перспективы для объективного изучения процессов научения у животных, субъективный мир которых недоступен для научного анализа. В то время это было прогрессивным шагом в развитии науки о поведении животных.

Во-вторых, Э.Торндайк сделал акцент на том, что инструментальное научение начинается с активной реакции животного на проблемную ситуацию. Согласно рефлекторной теории поведения, животные совершают какие-либо движения только на вполне определенные внешние стимулы, на которые в организме есть предуготовленные способы реагирования. Это могут быть либо безусловные стимулы, которые вызывают врожденную реакцию (безусловный рефлекс по терминологии И.П.Павлова), либо условные раздражители, которые вырабатываются в течение жизни на основе этих врожденных реакций.  Проблемная ситуация – это такой внешний стимул, на который в организме животного нет предуготовленных способов реагирования. Но животное активно отвечает на такую ситуацию определенным поведением (исследовательской активностью). Таким образом, способ усвоения знания при инструментальном и условно-рефлекторном научении отличается тем, что в первом случае животное активно разрешает задачу, а во втором случае ему отводится роль пассивного статиста.

В-третьих, Э.Торндайк предложил такой механизм научения, который убирал из объяснительной схемы субъективное понятие цели. Раньше психологи утверждали, что у животного в проблемной ситуации появляется цель и стремление к ее достижению. Э.Торндайк же следовал известному правилу Моргана, которое он провозгласил еще в 1894 году в своей книге “Введение в сравнительную психологию”: “Ни в коем случае нельзя считать какое-либо действие результатом упражнения более высокой психической способности, если его можно объяснить на основе способности, стоящей ниже по психологической шкале”. Согласно Э.Торндайку животное заставляет обучаться не некое сознательное стремление к цели, а проблемная ситуация. Схема научения ранней психологии выглядела следующим образом: проблемная ситуация приводит к появлению у животного сознательного стремления к достижению цели, что, в свою очередь, приводит к определенной двигательной активности, заканчивающейся разрешением задачи. Схема научения Э.Торндайка: проблемная ситуация вызывает у животного запрограммированное проявление различных, случайных движений (хаотическая двигательная активность), из которых в ходе научения отбираются лишь те, которые раз за разом приводят к разрешению поставленной задачи. Другими словами, животное  — это, в какой-то степени, машина, которая запрограммирована отвечать на незнакомую ситуацию определенным набором движений, из которого в процессе научения происходит отбор нужных. Таким образом, из объяснительной схемы научения была безболезненно убрана субъективная категория сознательной цели.

Наконец, Э.Торндайк раскрыл также механизм отбора, благодаря которому закрепляются нужные движения. Этот механизм связан с действием, так называемого, закона эффекта: для реакции, за которой следует состояние удовлетворения, вероятность повторения в сходной ситуации возрастает, а для реакции, вызывающей неприятные воздействия, вероятность повторения снижается.

Из закона следует, что связь между движением и проблемной ситуацией устанавливается потому, что после совершения этого движения животное испытывает субъективное состояние удовлетворения
(положительную эмоцию). Другими словами, по Э.Торндайку подкреплением в научении служит эмоция, которая возникает после совершения определенного движения, которое приводит к разрешению задачи и удовлетворению определенной потребности, например, голода. По И.П.Павлову, как было уже сказано, подкреплением служит сам процесс предъявления безусловного стимула, безотносительно к субъективному состоянию, которое испытывает при этом животное. В этом аспекте павловское понимание подкрепления больше удовлетворяло представителей классического бихевиоризма, так как убирало из объяснительной схемы субъективное понятие эмоции, состояние удовлетворения. В этой связи Э.Торндайка нельзя отнести к истинным последователям бихевиоризма. Несмотря на то, что подход бихевиристов был с формальной точки зрения более научным, нежели у Э.Торндайка, представляется, что система эмоционального подкрепления, которая играет важное значение в обучении человека, возникла не на пустом месте, а имеет свою эволюционную историю. По-видимому, одной из причин возникновения у животных субъективного эмоционального мира было возрастание у таких организмов эффективности процессов научения. Поэтому концепция Э.Торндайка в этом пункте представляется более верной, по крайней мере, по отношению к определенной группе животных (в частности, к высшим позвоночным).

Научение путем проб и ошибок