よく知られているように、期待値$\mu$、分散$\sigma ^2$である正規分布$N(\mu,\sigma ^2)$に従う確率密度関数は以下の式で表現されます。

$$ f(x)=\frac{1}{\sqrt{ 2\pi \sigma ^2} } e ^{ - \frac{(x - \mu) ^2}{2\sigma ^2}} $$

これまでずっと、この式を「そういうものだ」として理解してきました。しかし、せっかく統計学の勉強をしているので、なぜこのような形をしているのかを理解したい。というわけで、今日はこの正規分布の確率密度関数の導出がテーマです。

前提
問題定義
- 矩形内に点が入る確率
極座標で考える
常微分方程式を解く
- 積分定数の値を求める
確率密度関数
参考文献

前提

今回は、偶然誤差の性質から正規分布の確率密度関数を導くことにします。ここでいう「偶然誤差の性質」は偶然誤差の三公理として知られている以下を指します。

小さい誤差の起こる確率は大きい誤差の起きる確率より高い。

絶対値が同じで正負の誤差が起こる確率が相当しい。

非常に大きい誤差の起こる確率は零である。

3.3 偶然誤差の三公理より (3.計測誤差とその表現法)

問題定義

問題定義としては、特定の座標を目指して点を打つ試行を考えます。この点を打つ行為には、偶然誤差が存在し、一定の確率分布によって点がずれます。このとき、以下の図で表現される矩形内に点が入る確率を考えます。

矩形内に点が入る確率

$x$座標の範囲$[x, x+\Delta x]$に点が入る確率$P(x)$を考えると以下の式になります。ここで$f(x)$を、偶然誤差に関する確率密度関数としています。この$f(x)$こそがぼくが求めたい関数です。

$$ P(x) = \int _x ^{x + \Delta x} f(x)dx \approx f(x)\Delta x $$

$y$軸に関しても同様ですね。

$$ P(y) = \int _y ^{y + \Delta y} f(y)dy \approx f(y)\Delta y $$

偶然誤差は、方向（軸）に関係なく独立して発生するため、点が矩形内に入る確率はこれらの積として求められます。

$$ P(\text{矩形内に点が入る})=f(x)f(y)\Delta x \Delta y $$

点$(\mu,\mu)$を目指して点を打ったとしても、この式の形は変わりません。

$$ P(\text{矩形内に点が入る})=f(\mu+x)f(\mu+y)\Delta x \Delta y $$

極座標で考える

この問題を極座標で考えます。この時、偶然誤差は方向に関係なく独立して発生するという前提から確率密度関数は偏角$\theta$に依りません。従って確率密度関数は$r$のみの関数となります。これを$g(r)$として表現することにすると、偏角$\theta$に依らないことは、$\frac{dg(r)}{d\theta}=0$とも表現できます。

また、上の図から以下の関係も成立します。

$$ \begin{eqnarray} g(r)\Delta x \Delta y &=& f(\mu+x)f(\mu+y)\Delta x \Delta y \newline \therefore g(r) &=& f(\mu+x)f(\mu+y) \end{eqnarray} $$

$\frac{dg(r)}{d\theta}=0$を上記関係式から吟味します。

$$ \begin{eqnarray} \frac{dg(r)}{d\theta} &=& f(\mu+x)\frac{df(\mu+y)}{d\theta}+\frac{f(\mu+x)}{d\theta}f(\mu+y) \newline &=& f(\mu+x)\frac{df(\mu+y)}{d(\mu+y)}\frac{d(\mu+y)}{d\theta}+\frac{df(\mu+x)}{d(\mu+x)}\frac{d(\mu+x)}{d\theta}f(\mu+y) \end{eqnarray} $$

$x=r\cos \theta, y=r\sin \theta$であることを鑑みると、上式は以下のようになります。

$$ \begin{eqnarray} \frac{dg(r)}{d\theta} &=& f(\mu+x)f'(\mu+y)r\cos \theta+f'(\mu+x)(-r\sin\theta)f(\mu+y) = 0 \newline f(\mu+x)f'(\mu+y)x &=& f'(\mu+x)f(\mu+y)y \newline \therefore \frac{f'(\mu+x)}{f(\mu+x)x} &=& \frac{f'(\mu+y)}{f(\mu+y)y} \end{eqnarray} $$

この式が$\forall x,y\in \mathbb{R}$で成立するためには、この値が定数でなければなりません。その定数を$C_1$とおくと、確率密度関数$f$を求めることは、以下2つの常微分方程式を解くことに帰着します。

$$ \begin{cases} \frac{f'(\mu+x)}{f(\mu+x)x} = C_1 \newline \frac{f'(\mu+y)}{f(\mu+y)y} = C_1 \end{cases} $$

常微分方程式を解く

上側の式を解きます。

$$ \begin{eqnarray} \frac{f'(\mu+x)}{f(\mu+x)x} = C &\iff & \frac{\frac{df(u+x)}{d(u+x)}}{f(\mu+x)}=Cx \newline &\iff & \ln f(\mu+x) = \frac{C_1 x ^2}{2}+C_2 \newline &\iff & f(\mu+x)=e ^{\frac{C_1 x ^2}{2}+C_2}=Ae^{\frac{C_1 x ^2}{2}} \end{eqnarray} $$

ただし、$A=e ^{C_2}$としました。

下側の式も同様にすれば以下の関係式を導けます。

$$ \begin{cases} f(x)=Ae ^{\frac{ C_1 (x - \mu) ^2}{2}} \newline f(y)=Be ^{\frac{ C_1 (y - \mu) ^2}{2}} \newline \end{cases} $$

さらに偶然誤差の性質から、$x,y$が$\mu$から遠ざかるほど、$f(x),f(y)$は0に近づかなければならず、従って$C_1<0$でなければなりません。ここで$C>0$なる定数をおいて$C_1=-C$とすれば上式は次のように表現できます。

$$ \begin{cases} f(x)=Ae ^{\frac{-C (x-\mu) ^2}{2}} \newline f(y)=Be ^{\frac{-C (y-\mu) ^2}{2}} \end{cases} $$

積分定数の値を求める

それっぽい式になってきました。あとは定数の値を求めれば良さそうです。

確率の公理の適用

確率の公理から、全事象が発生する確率の総和は1になるため、次の式が成立します。

$$ \int _{-\infty} ^{\infty} Ae ^{\frac{-C (x-\mu) ^2}{2}} dx = 1,　\int _{-\infty} ^{\infty} Be ^{\frac{-C (y-\mu) ^2}{2}} dy = 1 $$

前側の式を解いていきます。 $t=\sqrt{\frac{C}{2}}(x-u)$とおくと、$dx=\sqrt{\frac{2}{C}}dt$。$t$に関する積分区間は$-\infty$から$\infty$となるため、ここから次の関係が導けます。

$$ \begin{eqnarray} \int _{-\infty} ^{\infty} Ae ^{\frac{-C (x-\mu) ^2}{2}} dx = 1 &\iff & \int _{-\infty} ^{\infty} Ae ^{-t ^2} \sqrt{\frac{2}{C}} dt = 1 \newline &\iff & \int _{-\infty} ^{\infty} e ^{-t ^2} dt = \frac {1}{A} \sqrt{\frac{C}{2}} \end{eqnarray} $$

ここでwikipedia:ガウス積分により、以下の式が成立します。

$$ \int _{-\infty} ^{\infty} e^{-t ^2} dt = \sqrt{\pi} $$

これを前式に代入します。

$$ \begin{eqnarray} \int _{-\infty} ^{\infty} e^{-t ^2} dt = \sqrt{\pi} &=& \frac {1}{A} \sqrt{\frac{C}{2}} \newline \therefore A=\sqrt{\frac{C}{2\pi}} \end{eqnarray} $$

同様にすれば、$B$も同じ値になることが確認できます。

$$ B=\sqrt{\frac{C}{2\pi}} $$

従って、$f(x)$は次の形になります。あとは定数$C$をなんとかしたいところですが、この定数は確率分布関数の期待値、分散から導くことができます。

$$ f(x)=\sqrt{\frac{C}{2\pi}}e^{\frac{-C (x-\mu) ^2}{2}} $$

期待値

期待値の定義式を適用します。

$$ E[X]=\int _{-\infty} ^{\infty}x\sqrt{\frac{C}{2\pi}}e^{\frac{-C (x-\mu) ^2}{2}} dx $$

ここで$t=x-\mu$とおくと$x=t+\mu$、$dx=dt$です。先の式を$t$の式で表現すると以下のようになります。

$$ \begin{eqnarray} E[X] &=&\int _{-\infty} ^{\infty} (t+\mu)\sqrt{\frac{C}{2\pi}}e ^{\frac{-C t ^2}{2}} dx \newline &=& \sqrt{\frac{C}{2\pi}}\left( \int _{-\infty} ^{\infty}te ^{\frac{-C t ^2}{2}} dt + \mu \int _{-\infty} ^{\infty}e^{\frac{-C t ^2}{2}} dt \right) \newline \end{eqnarray} $$

ここで第1項は奇関数の定積分に関する性質から$0$です。第2項については、$s=\sqrt{\frac{C}{2}}t$とおけば$dt=\sqrt{\frac{2}{C}}ds$となります。ガウス積分も考慮すると、期待値$E[X]$は$\mu$で表せることがわかります。

$$ \begin{eqnarray} E[X] &=& \sqrt{\frac{C}{2\pi}}\mu \int _{-\infty} ^{\infty}e ^{\frac{-C t ^2}{2}} dt \newline &=& \mu \sqrt{\frac{C}{2\pi}} \int _{-\infty} ^{\infty}e ^{-s ^2} \sqrt{\frac{2}{C}}ds \newline &=& \frac{\mu}{\sqrt{\pi}} \int _{-\infty} ^{\infty}e ^{-s ^2} ds \newline &=& \frac{\mu}{\sqrt{\pi}} \cdot \sqrt{\pi} = \mu \newline \therefore E[X] &=& \mu \end{eqnarray} $$

分散

一般に、分散$\sigma ^2$と期待値$\mu$には以下のような関係が成立します。

$$ V[X]=\sigma ^2 = E[X ^2]-E[X] ^2 $$

未知なのは$E[X ^2]$なので、こちらを求めてみましょう。先ほどと同様に、$t=x-\mu$とおくと$x=t+\mu$、$dx=dt$です。

$$ \begin{eqnarray} E[X ^2] &=& \int _{-\infty} ^{\infty}x ^2 \sqrt{\frac{C}{2\pi}}e ^{\frac{-C (x-\mu) ^2}{2}} dx \newline &=&　\int _{-\infty} ^{\infty}(t+\mu) ^2 \sqrt{\frac{C}{2\pi}}e ^{\frac{-C t ^2}{2}} dt \newline &=& \sqrt{\frac{C}{2\pi}} \left(\int _{-\infty} ^{\infty}t ^2 e^{\frac{-C t ^2}{2}} dt + 2\mu \int _{-\infty} ^{\infty}te ^{\frac{-C t ^2}{2}} dt + \mu ^2 \int _{-\infty} ^{\infty}e ^{\frac{-C t ^2}{2}} dt \right) \newline \end{eqnarray} $$

第2項は奇関数の定積分の性質から$0$となります。

第3項については、$s=\sqrt{\frac{C}{2}}t$とおけば$dt=\sqrt{\frac{2}{C}}ds$となります。ガウス積分も考慮すると、以下のようになります。

$$ \mu ^2 \int _{-\infty} ^{\infty}e ^{\frac{-C t ^2}{2}} dt = \mu ^2 \int _{-\infty} ^{\infty}e ^{-s ^2} \sqrt{\frac{2}{C}} ds \newline = \mu ^2 \sqrt{\frac{2}{C}} \cdot \sqrt{\pi} = \mu ^2 \sqrt{\frac{2\pi}{C}} $$

これを$E[X ^2]$の式に代入しましょう。

$$ \begin{eqnarray} E[X ^2] &=& \sqrt{\frac{C}{2\pi}} \left(\int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt + \mu ^2 \sqrt{\frac{2\pi}{C}} \right) \newline &=& \sqrt{\frac{C} {2\pi}} \int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt + \mu ^2 \end{eqnarray} $$

結果として、分散$\sigma ^2$は以下の式となります。

$$ \begin{eqnarray} \sigma ^2 &=& E[x ^2] - \mu ^2 = \sqrt{\frac{C} {2\pi}} \int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt + \mu ^2 - \mu ^2 \newline &=& \sqrt{\frac{C} {2\pi}} \int _{-\infty} ^{\infty}t ^2 e^{\frac{-C t ^2}{2}} dt \end{eqnarray} $$

つまりは、$\int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt$を求めれば良いですね。

$\int _{-\infty} ^{\infty}t ^2 e^{\frac{-C t ^2}{2}} dt$

まず、以下の関係があることに注目します。

$$ \int t e^{\frac{-C t ^2}{2}} dt = -\frac{1}{C}\int (-Ct)e^{\frac{-C t ^2}{2}} dt= -\frac{1}{C} e^{\frac{-C t ^2}{2}} $$

従って、求めたい定積分は部分積分の考え方を用いると次のように変形できます。

$$ \begin{eqnarray} \int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt &=& \int _{-\infty} ^{\infty}t \cdot \left(t e ^{\frac{-C t ^2}{2}}\right) dt \newline &=& \left[t \left( -\frac{1}{C} e ^{\frac{-C t ^2}{2}} \right)\right] _{-\infty} ^{\infty} - \left(-\frac{1}{C} \right)\int _{-\infty} ^{\infty} e ^{\frac{-C t ^2}{2}} dt \end{eqnarray} $$

第1項は0に収束します。第2項の積分箇所については、ガウス積分を用いれば$\sqrt{\frac{2\pi}{C}}$となります。

$$ \therefore \int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt = \frac{1}{C}\sqrt{\frac{2\pi}{C}} $$

これで分散$\sigma ^2$の値が求められ、結果として定数$C$の値が$\sigma ^2$を用いて表現できます。

$$ \begin{eqnarray} \sigma ^2 &=& \sqrt{\frac{C} {2\pi}} \int _{-\infty} ^{\infty}t ^2 e ^{\frac{-C t ^2}{2}} dt = \sqrt{\frac{C} {2\pi}} \cdot \frac{1}{C}\sqrt{\frac{2\pi}{C}} = \frac{1}{C} \newline \therefore C &=& \frac{1}{\sigma ^2} \end{eqnarray} $$