ベイズ統計学とベータ分布

シェアする

  • このエントリーをはてなブックマークに追加

こんばんは。数日ぶりの更新になってしまいました。

今日は統計検定準一級の去年の問題にあった「ベータ分布の事後モード」について勉強したので、まとめてみます。

パラメータを確率変数とするベイズ統計学

統計学の理論は「古典統計学・伝統的統計学」と「ベイズ統計学」に分けることができるそうです(あんまり分かっていません)。

大学の統計学の講義などで扱われるのは基本的に伝統的統計学の方です。

ベイズ統計学とは何かを厳密に説明するのは難しいのですが、簡単に言うと「観測結果を元にパラメータの事後分布を考える」というような考え方が含まれます。

分からないものに対して一旦なにかしらの値や分布を設定し、観測によってそれを修正していく感じです。

言葉で言っても分かりにくいので、統計検定の過去問をベースに考えてみましょう。

ベイズの定理

具体的な話をするまえに、ベイズの定理というものを復習しておきましょう。

ある事象Aが起こったということが分かっているときに、事象Bが起こる条件付き確率は、

で計算できます。

ここで、事象Bを「パラメータの値がθである」という事象だとしましょう。これは過去のことですね(実はパラメータの値がθだった、ということ)。

すると、

となります。ここで、分母のP(A)はθに関係がなく、事象Aが決まってしまえば定数になるので、これを省略して次のように書きます。

真ん中の記号は「左辺は右辺に比例する」という意味です。

右辺にあるP(A|θ)というのはθの「尤度」ですね。

また、ベイズ統計学では、実際には定数であるパラメータθも確率変数として扱うことができます。その意味で、P(θ)というのはθの事前分布(何も追加情報が無いときの分布)となります。

つまり、事象Aを観測した後のパラメータθの事後分布は、尤度と事前分布の積に比例する、ということです。

分母を完全に無視していますが、これでなんとかなるもんなんです。

一様分布の事後分布

フリースローの成功率について考えます。

Aさんのフリースロー成功率は不明です。そこで、成功率をθとし、推定してみましょう。

ここでθを確率変数として扱います。本当は定数なのですが、それを知らない人にとっては、情報が不十分なので確定させることができず、したがって確率変数として扱えるということです。これがベイズ統計学の立場です。

まず、Bさんはバスケの知識があまり無いので、フリースロー成功率が全く想像つきません。

したがって、Bさんにとって、フリースロー成功率は0から1までの値、どれも等しく「ありそう」なのです。これを、確率変数θの事前分布が区間[0,1]の一様分布である、として表現します(なにも情報が無ければ、θの「もっともらしさ」は区間[0,1]で全て等しいです)。

そこで、Aさんはフリースローを12回行い、3回成功したとします。

このとき、「12回中3回成功したときのθの条件付き確率」を考えてみます。

いきなり考えるのは難しいので、ベイズの定理により、「θの値がθであるときに、12回中3回成功する確率(θの尤度)」と「θの値がθである確率」を考えて掛け算します。

尤度はそのまま二項分布B(12,θ)なので、

となります。ただし、定数は無視して比例の形で書くので、前の二項係数は無視します。

さらに、事前分布は区間[0,1]常にθ=1となる一様分布なので、θの事後分布は

となります(ただし、事象Aは「12回中3回成功する」という事象)。

さて、このままではθの全合計(0から1まで積分)は1ではないので、上記のP(θ|A)の右辺は確率にはなっていません(正確にはθは連続型確率変数なので確率密度関数f(θ)とすべきですが、まあ細かいことは気にしない方針です)。

そこで、全合計を1にするために、右辺の全合計で割ってやります。

右辺θ^3(1-θ)^9の全合計は、

ただし、B( , )はベータ関数です。突然現れましたね。B(4,10)はただの定数です。

先ほどのP(θ|A)の右辺をこのB(4,10)で割ると、完全な確率密度関数になります。

したがって、θの事後分布は、確率密度関数をf(θ)とすると、

となり、θの事後分布はベータ分布Beta(4,10)になるのです。

ベータ分布のモード(最頻値)は、ベータ分布の確率密度関数の最大値を取る確率変数(ここではθ)の値であり、以下の値になります(微分して0になる点を探せばすぐ分かります)。

当たり前ですが、事前情報何もなしのときに、12回中3回成功したら、成功率の中で最も「ありそうな」値は3/12=0.25となります。

そんなことぐらい計算しなくても分かるよ! という感じですね。

では次に、事前分布がベータ分布になっている場合の事後分布を考えてみましょう。

ベータ分布の事後分布

同じシチュエーションについて考えますが、Cさんは少しバスケについて想像力が働くので、θの事前分布としてBeta(5,5)を想定しています。

ちなみにBeta(5,5)というのは、θ=0付近やθ=1付近はほとんど起こらず、θ=1/2付近が起こりやすい(ありそうだ)という分布です。

つまり、Cさんは「成功率ってだいたい0.5ぐらいでしょ。まさか0.05とか0.95とかそんな極端な値ってことは無いでしょ、フリースローなんだから」みたいなことを考えているわけです。

そこで、Aさんがやってみて12回中3回成功したという情報を得て、修正を余儀なくされます。

一様分布のときの同じように、θの事後分布を「尤度×事前分布」で考えます。

係数は一旦無視するので、尤度は上と同じく「θ^3(1-θ)^9」に比例するとします。

また、事前分布はBeta(5,5)なので、「θ^4(1-θ)^4」に比例します(ベータ分布の密度関数の式を確認してください)。

したがって、事後分布はその積なので「θ^7(1-θ)^13」に比例します。

確率密度関数になるように、区間[0,1]で積分したら1になるように定数倍してやると、B(8,14)で割ってやればいいので、

となり、θはBeta(8,14)に従うことになります。

従って、この場合のθの事後モードは、(8-1)/(8+14-2)=7/20=0.35となります。

ベータ分布の解釈

ベータ分布B(1,1)は一様分布になります。したがって、一様分布はベータ分布の特別な場合であるといえます。

ここで、最初の例では、成功率の事前分布Beta(1,1)に対して「3回成功9回失敗」の情報を与えると、成功率の事後分布はBeta(4,10)になりました。

次の例で、成功率の事前分布Beta(5,5)に対して「3回成功9回失敗」の情報を与えると、成功率の事後分布はBeta(8,14)になりました。

これを見ると、成功率の事前分布Beta(a,b)に対して「s回成功f回失敗」の情報を与えると、成功率の事後分布がBeta(a+s, b+f)になることが想像できます。これは正しいのです。

また、Cさんが持っていた事前分布Beta(5,5)は、実は「何も情報を持っていない状態Beta(1,1)に対して、4回成功4回失敗の情報が与えられたときの事後分布」なのです。

そして、Aさんの「3回成功9回失敗」が追加されて、結局、何も情報を持っていない状態に対して「7回成功13回失敗」の情報が与えられたものと同じ状態になったのです。

夢のなかでAさんが8回中4回成功させる光景でも見たのでしょうかね。

ということで、ベータ分布Beta(a, b)は「(a-1)回成功、(b-1)回失敗という情報が与えられたときの、二項分布のパラメータpの事後分布」と説明することができます(ただしa,bが非負整数のときのみ)。

また、この事後分布の性質はベータ分布と二項分布の関係のみに成り立つもので、そのほかの場合はその都度尤度計算などをして判断しないといけません。

以上が、ベイズ統計学の雰囲気とベータ分布の解釈の一例です。

スポンサーリンク
レクタングル(大)
レクタングル(大)

シェアする

  • このエントリーをはてなブックマークに追加

フォローする