定義
報酬予測誤差は、実際に得られた報酬と、その時点で期待されていた報酬価値との差をいう。中脳ドパミン神経の一過性発火は、多くの学習課題で、予測より良い結果では増加し、予測通りなら大きく変化せず、期待した報酬が得られない場合には低下する。これにより、手掛かりや行動の将来価値が更新される。
イメージ
予想外にもらった報酬は強く記憶に残るが、毎回必ずもらえるようになると驚きは小さくなる。反対に、来るはずの報酬が来なければ負の信号が生じる。ドパミンは、快楽の絶対量そのものより、結果が予測からどれだけずれたかを知らせる教師信号として働く。
仕組み
時間差分学習では、現在の報酬と次の状態で期待される価値を足し、現在予測していた価値を引いた差が報酬予測誤差となる。腹側被蓋野と黒質緻密部のドパミン神経は、予想外の報酬に一過性発火を示す。学習が進むと、この応答は報酬そのものから、報酬を予告する音や光などの手掛かりへ移る。予測された時刻に報酬が来なければ、同じ時刻に発火が一時的に低下する。ドパミン放出は線条体のD1・D2受容体、cAMP/PKA系、皮質線条体シナプス可塑性を変化させ、行動価値や習慣形成を更新する。ただし、ドパミン神経は均一ではなく、顕著性、運動、新奇性、嫌悪刺激、不確実性などを表す細胞もある。持続的なドパミン濃度変化は意欲や行動の活発さにも関与し、一過性の予測誤差信号とは区別される。
例
音の後にジュースが出る条件づけでは、学習初期はジュースが出た時にドパミン神経が一過性に発火する。学習後は音が鳴った時に発火し、予測通りにジュースが出ても追加の発火は目立たない。音の後にジュースを省くと、出るはずだった時刻に発火が低下する。