今日はいよいよ、以下の命題の証明です。 なぜ標準正規分布に従う確率変数の二乗和が$\chi ^{2}$分布に従うのか。学生時代からモヤモヤしていた事柄が、長い年月を経てようやくわかります。
確率変数$Z _{1}, Z _{2}, \cdots, Z _{N}$が互いに独立に標準正規分布$N(0,1)$にしたがうとき、$W=\sum _{i=1} ^{n} Z _{i} ^{2}$の従う分布を自由度$n$の$\chi ^{2}$分布と呼び、$\chi ^{2} (n)$と表す。
証明方針
確率変数の数が増えていく命題であるため、数学的帰納法で証明します。
$n=1$の場合
$n=1$の場合に証明すべきなのは次の命題です。
「標準正規分布$N(0,1)$に従う確率変数$Z _{1}$について、$W=Z _{1} ^{2} \sim \chi ^{2}(1)$」
まず、$Z _{1}$は標準正規分布に従うので、その確率密度関数は$g(z _{1})=\frac{1}{\sqrt{2\pi}} e ^{-\frac{z _{1} ^{2}}{2}}$です。 ここで、$W = Z _{1} ^{2}$が従う分布の累積分布関数を求めましょう。
$$ \begin{align} F(w) &= P(W < w) \newline &= P(Z _{1} ^{2} < w) \newline &= P(-\sqrt{w} < Z_{1} < \sqrt{w}) \newline &= \int _{-\sqrt{w}} ^{\sqrt{w}} g(z _{1}) dz _{1} \end{align} $$
累積分布関数$F(w)$を微分すれば$W$の確率密度関数$f(w)$が求められ、次式で表現されます。
$$ \begin{align} f(w) &= \frac{dF(w)}{dw} \newline &= g(\sqrt{w})\frac{d}{dw}(\sqrt{w}) - g(-\sqrt{w})\frac{d}{dw}(-\sqrt{w}) \newline &= \frac{g(\sqrt{w})}{2\sqrt{w}} + \frac{g(-\sqrt{w})}{2\sqrt{w}} \newline &= \frac{1}{2\sqrt{w}}\left( \frac{1}{\sqrt{2\pi}} e ^{-\frac{w}{2}} + \frac{1}{\sqrt{2\pi}} e ^{-\frac{w}{2}} \right) \newline &= \frac{1}{\sqrt{2\pi w}} e^{-\frac{w}{2}} \end{align} $$
ここで、$\Gamma\left(\frac{1}{2}\right)=\sqrt{\pi}$でした。
このガンマ関数の値を利用すると、先ほどの確率密度関数$f(w)$はさらに形を変形できます。
$$ f(w) = \frac{1}{2 ^{\frac{1}{2}}\Gamma \left(\frac{1}{2}\right)} w ^{\frac{1}{2} - 1} e ^{-\frac{w}{2}} $$
自由度$n$の$\chi ^{2} (n)$の確率密度関数は次式でしたから、$f(w)$は自由度$1$の$\chi ^{2}$分布に従うことがわかります。
$$ f _{n}(x) = \frac{1}{2 ^{\frac{n}{2}} \Gamma (\frac{n}{2})}x ^{\frac{n}{2}-1} e ^{-\frac{x}{2}} $$
$n=k$の時に命題が成立すると仮定して、$n=k+1$の時は？
$n=k$の時、$W _{k}=\sum _{i=1} ^{k} Z _{i} ^{2}$が自由度$k$の$\chi ^{2}$分布に従うと仮定します。
ここで、$W _{k+1}=\sum _{i=1} ^{k+1} Z _{i} ^{2} = W _{k} + Z _{k+1} ^{2}$の分布を考えましょう。
$W _{k}$と$Z _{k+1} ^{2}$は互いに独立なので、その同時確率密度関数$h _{k+1}(x,y)$は次のように表せます。
$$ h _{k+1}(x,y) = f _{1}(x) f_{k}(y) $$
従って、$W _{k+1}$に関する累積分布関数$F _{k+1}(x)$は次式となります。
$$ \begin{align} F _{k+1}(x) &= P(W _{k+1} < x) \newline &= \int _{0} ^{w} \int _{0} ^{w-y} f _{1}(x) f_{k}(y) dxdy \end{align} $$
先ほどと同様にこれを微分すれば、$W _{k+1}$の確率密度関数$f _{k+1} (w)$がもとまります。
$$ \begin{align} f _{k+1} (w) &= \frac{d F _{k+1}(w)}{dw} \newline &= \int _{0} ^{w} f _{1}(w-y) f _{k} (y) dy \newline &= \int _{0} ^{w} \left( \frac{1}{2 ^{\frac{1}{2}}\Gamma \left( \frac{1}{2}\right)}(w-y) ^{\frac{1}{2}-1} e ^{-\frac{w-y}{2}} \right) \left( \frac{1}{2 ^{\frac{k}{2}}\Gamma \left( \frac{k}{2}\right)}(y) ^{\frac{k}{2}-1} e ^{-\frac{y}{2}} \right) \newline &= \frac{1}{2 ^{\frac{k+1}{2}}\Gamma\left( \frac{1}{2}\right)\Gamma \left( \frac{k}{2} \right)} \int _{0} ^{w} (w-y) ^{\frac{1}{2}-1} \cdot y ^{\frac{k}{2}-1} e ^{-\frac{w}{2}} dy \end{align} $$
この積分の箇所を$I$と置きます。
$$ I \equiv \int _{0} ^{w} (w-y) ^{\frac{1}{2}-1} \cdot y ^{\frac{k}{2}-1} e ^{-\frac{w}{2}} dy $$
$u=\frac{y}{w}$とおくと、$y=wu$であり、$dy = wdu$。 また、$y$が$0 \rightarrow w$と動く時、$u$は$0 \rightarrow 1$になります。 これらで$I$を置換し計算を進めます。
$$ \begin{align} I &= \int _{0} ^{1} (w-wu) ^{\frac{1}{2}-1}\cdot (wu) ^{\frac{k}{2}-1} \cdot e ^{-\frac{2}{2}} w du \newline &= \int _{0} ^{1} w ^{\frac{1}{2}-1} (1-u) ^{\frac{1}{2}-1}\cdot w ^{\frac{k}{2}-1} u ^{\frac{k}{2}-1} e ^{-\frac{w}{2}} w du \newline &= w ^{\frac{k+1}{2}-1} e ^{-\frac{w}{2}} \int _{0} ^{1} u ^{\frac{k}{2}-1} (1-u) ^{\frac{1}{2}-1} du \newline &= w ^{\frac{k+1}{2}-1} e ^{-\frac{w}{2}} B\left( \frac{k}{2}, \frac{1}{2}\right) \end{align} $$
ここで、ベータ関数とガンマ関数には次の関係式があります。
$$ B(p,q) = \frac{\Gamma (p)\Gamma (q)}{\Gamma(p+q)} $$
これを利用すると、先の$I$は次のように表せます。
$$ I = w ^{\frac{k+1}{2}-1} e ^{-\frac{w}{2}} \frac{\Gamma \left(\frac{k}{2}\right)\Gamma \left(\frac{1}{2}\right)}{\Gamma \left( \frac{k+1}{2}\right)} $$
この$I$を、$W _{k+1}$の確率密度関数である$f _{k+1} (w)$は次のようになります。
$$ \begin{align} f _{k+1} (w) &= \frac{1}{2 ^{\frac{k+1}{2}}\Gamma\left( \frac{1}{2}\right)\Gamma \left( \frac{k}{2} \right)} \cdot w ^{\frac{k+1}{2}-1} e ^{-\frac{w}{2}} \frac{\Gamma \left(\frac{k}{2}\right)\Gamma \left(\frac{1}{2}\right)}{\Gamma \left( \frac{k+1}{2}\right)} \newline &= \frac{1}{2 ^{\frac{k+1}{2}}\Gamma\left( \frac{k+1}{2} \right)} w ^{\frac{k+1}{2}-1} e ^{-\frac{w}{2}} \end{align} $$
これは、自由度$k+1$の$\chi ^{2}$分布の確率密度関数ですから、これで証明が完了です。
これにより、確率変数$Z _{1}, Z _{2}, \cdots, Z _{N}$が互いに独立に標準正規分布$N(0,1)$へしたがうとき、$W=\sum _{i=1} ^{n} Z _{i} ^{2}$の従う分布を自由度$n$の$\chi ^{2}$分布に従う事が示せました。
