学習 — 古典的条件づけ、オペラント条件づけ、認知的学習、観察学習、報酬と内発的動機づけ

学習とは何か

心理学で学習とは、経験によって生じる比較的長続きする行動や知識の変化を指します。疲労や薬物のような一時的な変化や、成熟のように経験と関係のない変化は学習に含めません。

20世紀初め、ワトソン（Watson, 1913）は、心理学は意識のような目に見えないものではなく観察できる行動を研究すべきだと主張し、行動主義を切り開きました。学習の研究は、この流れの中で心理学最初の精緻な実験の伝統となりました。

古典的条件づけ：合図を学ぶ

パブロフの発見

ロシアの生理学者パブロフ（Pavlov, 1927）は消化を研究するなかで、犬が餌を見る前から、餌をくれる人の足音を聞いただけでよだれを流すことに気づきました。

用語	意味	パブロフの例
無条件刺激（US）	学習しなくても反応を引き起こす刺激	餌
無条件反応（UR）	USへの生まれつきの反応	よだれ
条件刺激（CS）	もとは中性だがUSと対にされた刺激	ベルの音
条件反応（CR）	CSだけで現れる学習された反応	ベルの音によだれ

学習された反応は、CSだけを繰り返し与えると弱まり（消去）、休んだあとで再びCSを与えると一時的によみがえります（自発的回復）。似た刺激にも反応する般化と、違う刺激には反応しない弁別も起こります。

対にすることより「予測」が大切

レスコーラ（Rescorla, 1968）は、CSとUSが何度一緒に現れても、USがCSなしでもよく現れる場合には条件づけが起こりにくいことを示しました。動物が学ぶのは単なる組み合わせではなく、「この合図はあの出来事を予測するか」という情報だということです。レスコーラ＝ワグナー・モデル（1972）は、これを予測誤差を減らしていく学習として数式化しました。

すべての結びつきが同じように学ばれるわけではない

ガルシアとケーリング（Garcia & Koelling, 1966）のラットは、味とその後の吐き気は一度で結びつけましたが、光や音と吐き気はなかなか結びつけられませんでした。反対に、光や音と電気ショックはすぐに結びつけました。生き物は生存に重要な結びつきをより学びやすいよう準備されているということです。一度おなかを壊した食べ物がずっと苦手になる理由もここにあります。

恐怖の学習と消去

ワトソンとレイナー（Watson & Rayner, 1920）は、生後11か月の「アルバート坊や」に白ネズミを見せるときに大きな音を立て、白ネズミやそれに似た毛のあるものまで怖がるようにしたと報告しました。今日の基準では倫理的に許されない実験で、方法もずさんでしたが、恐怖が学習されうるという考えはその後の研究で裏づけられました。不安症のエクスポージャー療法は、怖い刺激を安全な状況で繰り返し経験する消去学習にもとづいています。

オペラント条件づけ：結果から学ぶ

効果の法則とスキナー箱

ソーンダイク（Thorndike, 1898）は、問題箱に閉じ込められた猫が偶然かんぬきを外して脱出したあと、だんだん速く抜け出すようになることを観察しました。満足のいく結果をもたらした行動は強まるという効果の法則です。スキナー（Skinner, 1938）はこれを体系化し、行動は結果によって形づくられるというオペラント条件づけを研究しました。

	何かを与える	何かを取り除く
行動が増える	正の強化（ほめ言葉、おこづかい）	負の強化（シートベルトを締めると警告音が止まる）
行動が減る	正の罰（叱る）	負の罰（ゲームの時間を取り上げる）

「負の強化」は罰と混同されやすいのですが、不快なものを取り除くことで行動を増やすことです。

強化スケジュール

スケジュール	ルール	行動のパターン	例
固定比率	決まった回数ごとに報酬	すばやく反応、報酬後に一休み	スタンプ10個でコーヒー1杯
変動比率	平均回数ごと、予測不能	とても速く安定、消去に最も強い	スロットマシン、ガチャ
固定間隔	決まった時間後の最初の反応に報酬	締め切り直前に集中	月給、定期試験
変動間隔	平均時間ごと、予測不能	遅いが安定	メッセージの確認

変動比率スケジュールがギャンブルやガチャに使われる理由がこの表にあります。次の報酬がいつ来るかわからないので、やめにくいのです。

シェイピングと罰の限界

目標の行動に近づくたびに少しずつ強化するシェイピングによって、動物に複雑な行動を教えることができます。一方、罰は行動をすぐに止めることはできても、代わりに何をすべきかは教えてくれません。子どもへの体罰の研究をまとめたメタ分析では、体罰は即時の服従とは関連していましたが、攻撃性の増加や親子関係の悪化といった否定的な結果とも一貫して関連していました（Gershoff, 2002）。

認知的学習：頭の中の地図

行動主義では説明しにくい現象もありました。トールマンとホンジック（Tolman & Honzik, 1930）の実験では、報酬なしで迷路を歩き回っていただけのラットに遅れて餌を与えると、すぐに最初から報酬を受けていたラットと同じくらい速く道を見つけました。報酬がないあいだも迷路の認知地図を学んでいたのです（潜在学習; Tolman, 1948）。

ケーラー（Köhler, 1925）のチンパンジーは、手の届かないバナナを前にしばらく動きを止めたあと、突然箱を積み上げたり棒をつなげたりしてバナナを取りました。試行錯誤ではなく、問題の構造を一気に見抜く洞察学習でした。

観察学習：人を見て学ぶ

バンデューラ・ロス・ロス（Bandura, Ross & Ross, 1961）のボボ人形実験では、大人が起き上がりこぼしの人形をたたいたりどなったりする場面を見た子どもたちは、あとで同じ行動をずっと多くまねしました。自分が直接強化されなくても、人を見るだけで学べることを示した研究です。

バンデューラ（Bandura, 1977）は、観察学習は四つの過程からなると説明しました。

1. 注意：モデルの行動に目を向ける必要があります。
2. 保持：見たことを記憶にとどめておく必要があります。
3. 再生：その行動を自分でやってのける力が必要です。
4. 動機づけ：その行動をする理由（モデルが報酬を受けるのを見たかなど）が必要です。

バンデューラはまた、「自分にはこれができる」という信念である自己効力感が、行動を始めるかどうかや粘り強さを左右すると考えました。自己効力感は、自分で成功した経験、似た人の成功を見た経験、励まし、体の状態の解釈から育ちます。

報酬が興味を下げるとき

レッパー・グリーン・ニスベット（Lepper, Greene & Nisbett, 1973）は、絵を描くのが好きな幼稚園児に「描いたら賞状をあげる」と約束して賞を与えました。数週間後の自由時間、この子どもたちは賞をもらわなかった子どもたちより絵を描かなくなりました。もともと楽しくてしていたことに外的な報酬がつくと、「賞のためにやった」と考えるようになって興味が下がるアンダーマイニング効果（過正当化効果）です。

128の研究をまとめたメタ分析でも、課題の遂行に応じてあらかじめ約束された物質的な報酬は内発的動機づけを下げました。一方、予想していなかった報酬や具体的なほめ言葉には、そうした効果はほとんどないか、むしろ助けになりました（Deci, Koestner & Ryan, 1999）。強化は強力な道具ですが、すでに楽しんでいることには慎重に使うべきだということです。動機づけの別の側面は次の章で続けて扱います。

確認問題

問題1. 歯医者でドリルの音を聞くたびに痛い思いをした人が、今ではドリルの音を聞くだけで緊張します。この状況でのUS、UR、CS、CRはそれぞれ何でしょう？

解説. USは治療の痛み、URは痛みに対する緊張・恐怖、CSはドリルの音、CRはドリルの音だけで生じる緊張です。

問題2. 子どもが部屋を片づけたら、その日は皿洗いを免除することにしました。これはどんな種類の強化や罰でしょう？

解説. 嫌なこと（皿洗い）を取り除いて望ましい行動（片づけ）を増やそうとしているので、負の強化です。

問題3. あるアプリは、ユーザーがログインするたびにランダムで報酬を与えます。この方法がユーザーを長く引きとめる理由を、強化スケジュールで説明してみましょう。

解説. 何回目で報酬が出るか予測できない変動比率スケジュールに近い方法です。このスケジュールは反応率が高く消去に最も強いので、報酬がしばらく出なくても行動をなかなかやめません。

---

参考文献

• Watson, J. B. (1913). Psychology as the behaviorist views it. Psychological Review, 20(2), 158–177.
• Pavlov, I. P. (1927). Conditioned Reflexes (G. V. Anrep, Trans.). Oxford University Press.
• Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66(1), 1–5.
• Rescorla, R. A., & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical Conditioning II (pp. 64–99). Appleton-Century-Crofts.
• Garcia, J., & Koelling, R. A. (1966). Relation of cue to consequence in avoidance learning. Psychonomic Science, 4(1), 123–124.
• Watson, J. B., & Rayner, R. (1920). Conditioned emotional reactions. Journal of Experimental Psychology, 3(1), 1–14.
• Thorndike, E. L. (1898). Animal intelligence: An experimental study of the associative processes in animals. Psychological Review Monograph Supplements, 2(4), i–109.
• Skinner, B. F. (1938). The Behavior of Organisms. Appleton-Century.
• Gershoff, E. T. (2002). Corporal punishment by parents and associated child behaviors and experiences: A meta-analytic and theoretical review. Psychological Bulletin, 128(4), 539–579.
• Tolman, E. C., & Honzik, C. H. (1930). Introduction and removal of reward, and maze performance in rats. University of California Publications in Psychology, 4, 257–275.
• Tolman, E. C. (1948). Cognitive maps in rats and men. Psychological Review, 55(4), 189–208.
• Köhler, W. (1925). The Mentality of Apes. Harcourt, Brace.
• Bandura, A., Ross, D., & Ross, S. A. (1961). Transmission of aggression through imitation of aggressive models. Journal of Abnormal and Social Psychology, 63(3), 575–582.
• Bandura, A. (1977). Social Learning Theory. Prentice-Hall.
• Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change. Psychological Review, 84(2), 191–215.
• Lepper, M. R., Greene, D., & Nisbett, R. E. (1973). Undermining children’s intrinsic interest with extrinsic reward: A test of the “overjustification” hypothesis. Journal of Personality and Social Psychology, 28(1), 129–137.
• Deci, E. L., Koestner, R., & Ryan, R. M. (1999). A meta-analytic review of experiments examining the effects of extrinsic rewards on intrinsic motivation. Psychological Bulletin, 125(6), 627–668.