쥐의 선조체에서 보상의 가치에 근거한 의사결정과 관련된 신경신호 연구
Neural Signals Related to Value-based Decision Making in Rodent Striatum
- 주제(키워드) Decision making , Reinforcement learning , Striatum
- 발행기관 아주대학교 대학원
- 지도교수 Jung, Min-Whan
- 발행년도 2010
- 학위수여년월 2010. 8
- 학위명 석사
- 학과 및 전공 일반대학원 신경과학기술과정
- 실제URI http://www.dcollection.net/handler/ajou/000000010851
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
뇌의 선조체는 보상을 얻기 위한 의사결정 과정에서 중요한 역할을 한다고 여겨진다. 많은 연구들이 선조체가 행동의 평가 뿐만 아니라 행동의 선택에도 관여한다고 시사하고 있지만, 이와 같은 기능들의 메커니즘은 잘 알려져 있지 않다. 따라서, 본 실험에서는 동물이 자유선택 과제를 수행하는 동안 선조체의 하위 영역인 배내측과 배외측, 그리고 복측 부위에서 신경활성도를 동시에 측정하고, 동물의 행동선택과 선택의 결과, 그리고 행동의 가치와 관련된 신경신호들의 시간적 특성들을 조사했다. 행동의 가치에 대한 신경신호들은 동물이 행동을 선택하기 전 선조체의 모든 하위영역에서 의미있게 나타난 반면, 곧 있을 선택과 관련된 신호들은 상대적으로 약했고 동물의 행동선택이 이루어지기 바로 전 배내측 선조체에서만 나타나기 시작했다. 이와 대조적으로, 동물이 행동선택을 한 이후에는 선택과 선택의 가치와 관련된 신호들이 급격히 증가하였고, 동물의 선택에 대한 결과가 나타날 때 까지 지속되었다. 이와 같은 사실은 선조체의 신경세포들이 동물의 행동선택과 선택의 결과, 그리고 선택된 행동의 가치와 관련된 신호들을 동시에 전달한다는 것을 의미한다. 즉, 선택된 행동의 가치를 갱신하기 위해 필요한 모든 요소들이 선조체에서 발견될 수 있다. 이와 같은 결과들은 선조체가 동물이 행동을 선택하기 전 잠재적인 선택들과 관련된 가치들을 표상하는 것 뿐만 아니라, 선택의 결과가 제시되자마자 선택된 행동의 가치를 갱신할 수도 있다는 것을 시사한다. 따라서, 본 연구는 선조체의 주요 기능이 행동의 선택이 아니라 선택된 행동에 대한 평가일 가능성을 제기한다.
more초록/요약
The striatum is thought to play a crucial role in value-based decision making. Although a large body of evidence suggests its involvement in action selection as well as action evaluation, underlying neural processes for these functions of the striatum are largely unknown. To obtain insights on this matter, I simultaneously recorded neuronal activity in the dorsomedial, dorsolateral, and ventral striatum of rats performing a dynamic foraging task, and examined temporal profiles of neural signals related to animal’s choice, its outcome, and action value. Whereas significant neural signals for action value were found in all structures before animal’s choice of action, signals related to the upcoming choice were relatively weak and began to emerge only in the dorsomedial striatum just before behavioral manifestation of the animal’s choice. In contrast, once the animal revealed its choice, signals related to choice and its value increased steeply and persisted until the outcome of animal’s choice was revealed, so that some neurons in all structures concurrently conveyed signals related to animal’s choice, its outcome, and the value of chosen action. Thus, all the components necessary for updating values of chosen actions were available in the striatum. These results suggest that the striatum not only represents values associated with potential choices before animal’s choice of action, but might also update the value of chosen action once its outcome is revealed. Thus, the primary role of the striatum might be in action evaluation rather than action selection.
more목차
I. INTRODUCTION 1
A. Reinforcement learning and decision making 1
B. Involvment of basal ganglia in decision making 3
C. Roles of the basal ganglia in decision making 5
D. Aims of the thesis 7
II. MATERIALS AND METHODS 8
A. EXPERIMENT1 8
1. Subjects 8
2. Behaviroal task 8
3. Behavioral stages 11
4. Unit recording 15
5. Logistic regression analysis of behavioral data 18
6. Reinforcement learning model 19
7. Analysis of neural data 24
B. EXPERIMENT 2 34
1. Subjects 34
2. Behavioral task 34
3. Behavioral stages 35
4. Unit recording 37
III. RESULTS 40
A. EXPERIMENT 1 40
1. Choice and locomotive behavior during TAB task 40
2. Neural signals for choice and reward 45
3. Neural signals for value 51
4. Neural signals for updated value versus RPE 63
B. EXPERIMENT 2 71
1. Choice and locomotive behavior during DAWH task 71
2. Neural signals related to choice and reward 73
3. Neural signals related to value 79
4. Neural signals related to updated value versus RPE 85
IV. DISCUSSION 92
A. Role of striatum in action selection 92
B. Role of striatum in action evaluation 94
C. Functions of dorsal versus ventral striatum 96
D. Functions of subregions in dorsal striatum 97
V. CONCLUSIONS 99
REFERENCES 100
국문요약 115
