Incentive compatibility（誘因両立性）

経済学の行動実験を行う上で最も基本となるのが、Incentive compatibility(誘因両立性)という概念である。ここでは、ミクロ経済学の個人の選考を測定する場合を例に説明します。
個人の選好を測る上で重要なことは、各個人が真の選考を示す実験条件になっているのかに、常に気をつける必要がある。つまり、真の選好を表明することで効用が最大化されなければならない。つまり、誘因両立性の制約が満たされている必要がある。

例を挙げると、
1.りんご一個買うのにいくら払いますか？と聞いた場合（willingness to pay (WTP)）、ただ単に聞いただけでは、被験者はいくらの値段でも自由に述べることができる。これは、被験者が真の選考を表明することが、利得につながらないため。

2．実験条件の設定によって、ある特定の選択を行うことが効用の最大化に繋がる実験になっていると、被験者は真の選好を示すことが効用の最大化に繋がらなくなってしまう。つまり、こういう行動をすると、儲かるといった特定の解が存在するような場合。


言い換えると、自分の選好を表明するメリットが無い状況では、ちゃんと各人の選好は測れていない。真の選好を表明することが最適戦略（誘因両立性の制約を満たす）となっていることが必要。

勉強するならFoundations of Neuroeconomic Analysis

Foundations of Neuroeconomic Analysisが出版されました。Neuroeconomicsについて勉強するにはとても良い本です。一読の価値ありです。ちなみに、タイトルはサミュエルソンの"Foundations of economic Analysis"にあやかっているとのこと。

ちなみに、この本を書いている正にその時labに在籍していて、原稿を読んで、あーでもないこうでもないと、ディスカッションしておりました。夏休みで一冊本をかけちゃうんだから、やっぱり生産力が違うんでしょうねぇ。

Expected Utility theory, Prospect theory

Expected value theory
EV = P*X P:確率、X：お金


Expected utility theory
EU = P*U(x) P:確率、U(X)：単調増加関数

　＊U(X)は効用。それに確率Pを掛けているので、”期待”効用


Prospect theory
V(p,x) = ω(p)*V(x)
ω(p):主観確率
　　　　　　　　　　V(x):Reference dependent value

　＊V(x)には利得のみならず損失も含まれる

メモ：行動経済学と実験経済学の違い

行動経済学
　主に、心理学を主体的に経済学に取り込んで、いかに人間が”不合理”であるか？を理論と比較して説明を試みてきた学派

実験経済学
　理論経済出身者が、理論の正しさとその適応度合いを知るために実験を行ってきた

ということで、行動経済学者は実験が得意で、理論の外で行動に影響を与える要因を探すことに重点を置いている。一方、実験経済学者は実験デザインが理論系の人にありがちな難しいデザインになっており、理論と測定が何故ずれるのか？に重点が置かれているように思う。。。（本当か？）

Future discounting and Utility

人間は将来得られるお金の価値を割り引いて計算する。
例えば、
・”すぐもらえる20ドル”と
・”一ヶ月後にもらえる30ドル”
　ならどちらを選ぶ？
すぐもらえる20ドル！！！（自分は）

ということで、将来得られるお金の価値は目減りする。
この目減りの仕方は、Exponential function(指数関数)と比べてHyperbolic function：双曲線でよく説明される。

ところが、この将来割引の測定において限界効用逓減の法則は無視されており、liner functionであると仮定されている。（多くの人間では、お金の主観的な価値は金額が高くなるほど、目減りする：risk aversion）。

ということで、真に当てはめるべきモデルは、時間割引とリスク依存性を両方伴ったモデルである必要がある。時間割引は奥が深く難しい。。。

【Book】 Neuroeconomics第四章：Formal Models of Decision Making and Cognitive Neuroscience

　実験経済学における意志決定理論とは？その大部分は、von Neummann Morgensternの効用理論（効用の最大化）に含まれている。公理によって導かれる意志決定理論は、以下の条件下で実験データが取得される。被験者は、１．有限の選択肢から、２．二者択一で、３．繰り返し一つを選択する。これで、効用関数が求まる。

クジを使った期待効用理論では、クジは次のベクトル(x,p,y,1-p：2種類の金額とその出現確率）で表される。クジはお金でなくても、食べ物や飲み物などなんでも良い。公理は以前に述べたが、完全性、推移律、連続性、独立性の四つが満たされていれば、意志決定者は効用を最大化する。


次のポイントは stochastic choice
　確率的な選択は、”ランダム効用理論(rondom utility model)”か”確率的な選択モデル (stochastic choice model)”で取り扱われる。

・ランダム効用理論：Ui = Vi + εi (効用関数にノイズが加わっている)
・確率的選択モデル：選択の関数にノイズが加わっている(強化学習の価値関数とソフトマックスみたいな感じ)。効用関数にノイズは無い。

財の選択を確率的に取り扱うようになったことで、”選好の強度”という概念が登場。簡単に言えば、選好の程度の違いが選択の頻度として現れることを指す。


以下は、知覚と意志決定の関わりについて
ランダムウォークモデル：意志決定の過程をモデル化
シグナルの精度と意志決定、意志決定に要する時間の関わり.....


加速度的に話が展開して終了。ついていけない。また、いつか読みなおすか...

【Book】Neuroeconomics第三章：Axiomatic Neuroeconomics

公理（Axiom）がどの様に神経科学に役立つか？

ミクロ経済学では、意志決定理論のモデル形成に公理を用いたアプローチが中心的な役割を果たしてきた。公理は、モデルが実験データによって証明されるのに必要・十分な条件を与える。

第一の例としては、効用の最大化（Samuelson, 1938）問題がある。この問題を証明するのに必要な唯一の公理（仮定）は、顕示選好の弱公理である。
公理によるモデル改善は、最もシンプルで原理的なモデルから始まり、一つずつ改善していく。従って、モデルは樹状に枝分かれしたもの（nested）になる。

次の大きなモデル改善は、フォンノイマン・モルゲンシュルテン(1944)によって提唱された”宝くじ”を対象とした、期待効用理論が挙げられる。ここでは独立性（independent axiom）の公理が追加された。

この独立性の公理の破れを説明したのがカーネマン・トヴェルスキー(1973)で、Probability weighting(確率加重)と呼ばれる、主観的な確率が絶対的な確率からずれることを説明したモデルである。

その後、Ambiguity aversion、disappointment aversionなど、様々なかたちでもとのモデルが更新されている。実験により公理の破れを見つけ効用理論を改善してきた歴史が、公理の果たす役割の重要性を示している。


この章で著者らは、”公理”を脳活動に適用することで、報酬予測誤差信号を規定するのに必要最低限のルールを導き出そうとしてる。その公理とは、
・・・・本を参照してください。Fig.3の見た目の通りです。

Axiomatic approach を用いる利点は、この条件に当てはまる任意の関数なら何でも良く、いちいち細かなモデルの違いを検討しなくても良いことだ。そして、公理に反する例を見つけることで、モデルを絞りこむことが可能である。公理を用いた研究は、行動経済学の大きな特徴の一つである。

Definition of Risk: Expected Utility or mean variance

リスクは２通りの定義が可能
１．効用関数：限界効用の低減や増加として表現される

２．平均分散モデル：U = V + b*Var　　　　V：期待値、Var：分散、b＞0 リスク選好、b＜0リスク嫌悪

＊平均分散モデルは、期待効用理論の近似である。結果が既知の確率分布から現れるので、平均と分散で効用関数を近似的に表現することが可能である。

数学の脳科学における有効性

今日、ボスと議論した話題

人の意志決定について脳の情報処理を理解する上で、計算理論に基づく研究は有効だけど、研究は必ず規範となる理論（Normative theory）からスタートすべき。理由は、

１．観察した現象を説明する計算理論は沢山あり、２．そのサブクラスも含めれば無数に可能。３、そのモデルが正しいと証明することは現実的に可能でない。

従って、規範となっている計算理論から出発して、そのサブモデルを議論していくことが重要だという思想。逆にいえば、何か適当なモデルから出発して、その周辺でサブモデルを議論しても、局所最適解を探していることになる。最も悪いのは、自分がなんとなく好きなモデルに後付けで色々付加して（ad hoc）、こんなによく現象を説明できるようになりましたよっていう研究だ。

ここで、生物学的要因が果たす制約条件は、あくまでも補足的なものと考えるのが良いという考え。制約を増やすことでモデルは絞り込まれるが、モデルの全ての仮定を生物学的要因で証明することはかなり難しい。


強化学習のＴＤモデルの成功を例にあげれば、
ＴＤはモンテカルロ法という優れた規範理論に極めて近い計算過程であり、生理学の研究によりドーパミン細胞の発火頻度がその性質を備えていることが多数の研究により示されている。

経済学を例に挙げれば、
モデルは必ず効用理論からスタートしている。期待効用理論もプロスペクト理論も効用理論がもとになっている。


脳は計算回路なので、工学の得意な計算手順（algorithm）を備え持つモデルが重要。ミクロ経済学では計算を回路、手順として考えることはない。逆に不必要な要素を増やしたアルゴリズムは、その現象に対する説明力は上がっても規範から大きく外れてジャンクになってしまう。


脳研究がもっと進んで脳の計算基盤が明らかになればモデルはずっと絞り込まれるが、現段階ではその手法は意志決定の研究には望みが低い。ならば、やはり、シンプルで良くその計算の重要性が理解されている計算原理から始めるべきなのだろうか。

【Book】Neuroeconomics第二章：実験経済学と神経経済学

この章の言いたいところは明確に理解できていない。理由は、実験経済学のことを私がほとんど知らないからだろう。

基本的な著者の立場は、脳活動の知見が実験経済学の理解にどう役立つのかを説明するもの。
それには、以下の３つの基準が重要とのこと
１．Internal Order：個人の選好と脳が選好を生み出す数理モデル
２．Social Order：個人間（他者との関わり）のもとでの意志決定
３．Market Order：集団

それぞれのレベルで意志決定に関わる脳内の計算過程がどう役立つのかを例を挙げて提言している。マーケットレベルになるとほんとにどう役立つんだろうな？

【Book】Neuroeconomics第一章：Introduction

Neuroeconomics（ピンク本）を読んだまとめ

第一章：神経経済学はどのようにして生まれたか？
　　　　認知神経科学と実験経済学・行動経済学の出会い
　　　　神経経済学のこれから

研究の流れ
・神経科学：1990年代のPerceptual Decisionの研究を皮切りに、意志決定に関する研究が盛んとなる。脳の損傷患者の知見や破壊実験などにより、心理状態と脳機能の関係が議論された。2000年に入ると、特に研究数は格段に増えた
・経済学：公理を用いた規範理論は単純で強力であった。理論と実際の行動のズレをパラドクスとして問題化して修正される理論は、明快な理論と消費者の行動の鋭い予測を生み出す。

融合の動機
・神経科学：研究の規範となる普遍的理論がなかった。経済学はうってつけ。
・行動経済学：心理学の原理を取り込んでモデルを改変してきた流れから、更に神経生物学の知見を取り込むことで新たな予測モデルを生みす方向性へと向かった。

両者が歩み寄った契機
　非侵襲脳活動測定器（特にfMRI）が90年代に発達したことで、人間を対象に脳活動の測定が可能になった。


脳科学の知見が、ヒトの意志決定の予測の新たな規範理論となりうるのかはわからない。脳の計算アルゴリズムを神経生物学の知識に基づいて理解できた時、初めてそういえるのかもしれない。反対派は多いが新しい挑戦をしなければ何も生まれない。歴史に残る研究なんてほんのわずかだし、それが科学として正しい方向なのかどうかは何十年も経た後に明らかになることだと思う。まあ勃興期で玉石混淆なので、研究の質を見分ける目がなければならない。また、成熟した学問はいつも間違いが少なく心地よいのも確かだが。

Decision Making under uncertainty

結果が不確実（Uncertainty）な状況の意志決定には、以下の2つの状況がある

１．Risk
２．Ambiguity

人間はRiskとAmbiguityのどちらも嫌うことが知られている。


Risk
行動選択の結果が確率的な状況。例えば、宝くじ、パチンコなどを思い浮かべてもらえるとよい。
最も重要な点：結果の確率分布は既知である。ただし、結果がでるまでその結果はわからない。
（宝くじの裏面を見ると発売何万本中、1等a本、2等b本、、、というように、全ての出現確率が記載されている。）

Ambiguity
選択行動の結果起こる事象の確率が不明な状況。Unknown probability
　Ellsberg paradoxはexpected utility theoryの公理を破る例として知られており、ambiguity aversionの証拠として良く取り上げられる。


----------------------------------------------------------------------
最近の論文ではこちら。Glimcher labから。リスクとアンビギュイティーのレベルを操作したクジを用意し、クジの価値と相関する脳活動を示す領域を調べると、線条体(Striatum)と内側前頭前野(Medial prefrontal cortex)がどちらのクジの価値も表現しているとのこと。

BDM(Becker–DeGroot–Marschak) bet と WTP(willingness to pay)

財の価値を推定する最も典型的な方法として、BDMオークションが知られている。
簡単に言うと、その商品にいくら払っても良いのかを自己申告してもらう。

その際の手順は、
１．０～１０ドルの間でDVDを値踏みしてもらい（価格と商品は一例）
２．コンピューターがランダムに価格を選ぶ。
３．消費者が指定した価格よりも高い値を付けていれば、商品を自分の指定した値段で購入できる。低い価格を付けていれば、お金を払う必要は無いが、商品を購入することもできない。

つまり、10ドル(最大値)と値踏みすれば、確実に購入でき、５ドル（中央値）であれば５０％の確率で購入できる。つまり、どれだけその商品にお金を払っても良いか（willingness to pay）を測定している。


-----------------------------------------------------------
この手法は、最近の神経経済学の実験でよく使われている。
WTPは商品だけではなく、色んな物に応用できる。例えば、電気ショックを回避するのに何ドル払いますか？という形で、電気ショックの価格を測定することも可能である。

最近の論文では、こちら。
カルテクのAntonioがＷＴＰを財毎（宝くじ、食べ物、小物）に測定し、全てのＷＴＰと相関して活動する、Common Valueを表現する脳部位を探したら、vmPFCでしたよ。という話、ただし、実験上の問題点がある。
１．解析の仕方：3つの財全てに賦活した脳部位を探すためにconjunction analysisをするのだが、実際に示された図は、(FDR corrected)を用いていない、uncorrected P<0.001の図
２．データの解釈：全ての財に対して共通の価値を表現しているなら、財の種類に関わらずＷＴＰに依存して活動が変化する必要があるが、実際のデータでは宝くじの条件で最も活動が低い
３．２の解析は、Peak voxelのみの活動を用いている
４．WTPが真の価値からどの程度ずれるのか？多分、結構なノイズになるだろう。

従って、特に２の結果からこれは、財に関わらない共通の価値（筆者らは、common decision variableとして説明。ここでは意訳している）が表現されているのではなく、３つの財全てに対して価値を表現した脳部位（＋財毎に感度が違う）と理解するのが最も適当ではなかろうか？

お金（Currency）って何よ？というのが根本的な問いなんだろうが。

顕示選好：弱公理（WARP）と強公理(SARP)

顕示選好の弱公理（Weak Axiom of Revealed Preference）
：２つの財ベクトル　XとY　の選好を直接測定した時

　X＞Y　ならば　Y＞Xであることはあり得ない

　＊直接顕示選好された財のみについて取り扱う弱い仮定

顕示選好の強公理（Strong Axiom of Revealed Preference）
：間接的な顕示選好に対しても同様に、違反(Violation)が起きないと仮定する

　X＞Y　かつ　Y＞Z　ならば、　X＜Zであることはあり得ない

　＊間接的な顕示選好も含んで最適な行動を説明しようとするので、より強い仮定を持つ


顕示選好の手法を用いて全ての財ベクトルに対して選好を記述すると（A>B,B>C,C>D．．．G>Hと連鎖を作る。中にはB>C,C>DだけどD>Bといったようにループができる）AはHよりも直接的にor間接的に顕示選好されているということができるが、上記の仮定を犯した回数（ループの数）を数えることで、消費者の合理性の度合いを測定することができる。もし、完全な選好を持つなら、ループの数は0個となる

顕示選好：revealed preference

顕示選好：個人の選択行動から観察された選好
個人の選好を知るためには財を比較することが必要。財XとYを比べて消費者がXを”選んだ”ならば

X > Y　であることが直接示されたことになる(directly revealed preferred)

更に、X > Y, Y > Zが選択から示されれば、推移律(transitivity)の仮定から、X > Z が間接的に示される(indirectly revealed preferred)

-------------------
ミクロ経済学において、消費者の選好は必ず”選択”によって測定される（補足：BDMなどの手法もある）。一方、実験心理学においては、選択ではなく”Rating”によって点数を付けることで選好を測定している。分野が違えば測定方法が異なること、そのデータの背後にある神経メカニズムは異なることは、常に意識すべき問題だ

メモ：コブ-ダグラス型効用関数

凸型の単調無差別曲線
v(x1,x2) = x1^a * x2^1-a

指数の合計が常に１。

選択

選択は、予算集合と選好理論を用いて記述することができる。つまり、
　消費者は、”予算の範囲内で最も選好する商品(財)の組み合わせを選ぶ”

テクニカルには、予算線と接した無差別曲線上の点が、選ばれる。

--------------------------
強化学習と比較して考えると、強化学習ではソフトマックス（シグモイド関数）を用いて、価値の低い選択肢を選ぶ行動の割合を状況に応じて調節するが（環境の変動を考慮しているため、探索行動が必要になる）、ミクロ経済学では、嗜好は一定だとされており(端的に言えば、学習は考えない)、常に価値の最も高い商品の組み合わせを選ぶ。ランダム効用理論を用いれば、強化学習と同様に低い価値の財を選ぶ行動も説明される。

では、いったい脳の中でどのように選択が実現されているのか？これは、最も難しい問題の一つだと思われる。何故かというと、選択に関与する単一の責任脳部位は今のところなさそうだし、選択の計算メカニズムが、強化学習や経済学で仮定するような単純なものかといえば、そうとも思えない。そもそも、選択の過程を観察可能なのだろうか？シグモイド関数のような神経相関が見つかれば、それは選択なのだろうか？また、現状の神経科学の知見から考えると、選択に関与する脳の回路は複数あると考えるのが妥当なんではなかろうか？

膨大な情報処理の結果として起こる単一のOutput(選択行動)を、どうやって説明するのがもっとも妥当なんだろうか？知識の不足のせいかわからない。

限界効用(Marginal Utility)

限界効用とはある効用関数 U= u(x1,x2)において、x1が一単位(Δx1)増えた場合に得られるUの増加量(ΔU)を意味する。この際、x2の値は固定されており、財x1を微分したものが財x1の限界効用に当たる。

もう少しかみ砕いた説明を試みると

最も単純な2財モデルU= u(a;リンゴ,b;バナナ)を考える。
ある個人にとってリンゴ一個とバナナ3本が同じ価値であり(完全代替材とする)、予算(m)の範囲で最も自分が満足できる財：リンゴとバナナの組み合わせを購入する。

効用関数 は 1*a + 3*b = m

効用とは人がある財を消費した時に得られる満足度で、新たにリンゴ一個を得て得られる満足度は、
ΔU/Δa　となる。

-------------------------------
最近JNSに掲載された論文で、限界効用を時間割引の手法で調べた論文が掲載されている。
Encoding of marginal utility across time in the human brain.
Pine A, Seymour B, Roiser JP, Bossaerts P, Friston KJ, Curran HV, Dolan RJ.
J Neurosci. 2009 Jul 29;29(30):9575-81.
残念ながら、私にはこれが限界効用を測定しているのかどうか、イマイチ良くわからない。わかる方がいれば是非教えてください。

代替材と補完財

代替材（substitute）：値段が上がると他の安い商品を買うようになる物
　万年筆とボールペン、ソーセージと魚肉ソーセージ、国産牛肉と輸入牛肉

補完財（complement）：同時に消費されるもの
　紅茶と砂糖、ハンバーグとケチャップ、パンとバター、紙とインク、鉛筆と消しゴム、シャンプーとリンス

＊＊＊　神経科学の視点　＊＊＊
代替材は同様のカテゴリーに分類される商品なので、カテゴリーに従って商品の価値が脳の中に表現されそう。眼窩前頭皮質がその第一候補？
一方、補完財は財と財の組み合わせに応じて、補完財になるかどうかが決まるので、関係が重要になる。そうなると、組み合わせの数がどどっと増えるので、どんな情報処理が適しているんだろう。。。

消費者理論：公理

ミクロ経済学で扱われる選好に関する仮定（公理）は以下の三つ ・完全性（Completeness）；消費者は、財1:(x1,x2)と財2:(y1,y2)を比較可能である 　例えば、ロシアンルーレットを用いて、成功したらお金が貰えるけど失敗したら死ぬみたいな選択肢はこの仮定の範囲外。例：(20％の確率で死ぬ, 100万円獲得)と(50%の確率で死ぬ, 1000万円獲得)。 ・反射性（Reflexivity）；財１(x1,x2)は財１(x1,x2)と同程度に好ましい 　同じ商品どうしを比較したらいつもそれは等価である。例外としては、幼児とか痴呆症のお年寄りなどは、この仮定を満たさないかも。 ・推移律（transitivity）；財１(x1,x2)≧財２(y1,y2)で財２(x1,x2)≧財３(z1,z2)なら、財１(x1,x2)≧財３(z1,z2)。 ＊AをBと同等かそれ以上に好むことを”A≧B”と表す 　この仮定は、時々破られる。例えば、100個の財を1～100まで全ての組み合わせで全部比較していったら、この仮定は守られないだろう。また、例えば、牛丼≧カレーの人が、前日に牛丼を食べていたら、次の日はカレー≧牛丼と変わるだろう。 人の消費行動において、推移律は必ず満たさなければならない必然的な性質かは明確で無い。 推移律が破られる生理的条件が明らかとなれば、仮定が補完されるのかも。。。 神経科学における意志決定の研究では、この3条件は満たされているのが常だなぁ

後日談(2021年に加筆・・・)：この内容を実際にサルで調べたところ、お腹が空いているほど推移律がよく守られることがわかりました。当たり前と言えば、当たり前だけど、以外と気づかない盲点です。

https://www.nature.com/articles/s41598-017-02417-5