昨日のエントリにて、多変量の場合の確率密度関数の形を求めました。
$$ f(X) = \frac{1}{(2 \pi) ^{ \frac{n}{2}}\sqrt{|\Sigma|}} \exp{ \left( -\frac{ (X - \mathbf{\mu} ) ^T \Sigma ^{-1} (X - \mu)}{2} \right) } $$
ここで$X$は多変量であるような確率変数の列ベクトルであり、$\mu$はそれら確率変数に関する期待値のベクトルです。また、$\Sigma$はそれら確率変数の分散共分散行列でした。
では具体的に2変量ではどうなるのかを考えてみましょう。 ここでは確率変数を$X$と$Y$とし、それぞれの期待値を$\mu_{x}$、$\mu_{y}$とします。 つまり列ベクトル$X$と$\mu$は次のように表せます。
$$ \begin{eqnarray} X &=& [ x, y ] ^{T} \newline \mu &=& [ \mu _x, \mu _y] ^{T} \end{eqnarray} $$
また、これらの分散共分散行列は次式で与えられます。 $\sigma _{x} ^{2}$、$\sigma _{y} ^{2}$、$\sigma _{xy}$は、それぞれ$X$の分散、$Y$の分散、$X$と$Y$の共分散です。
$$ \Sigma = \begin{bmatrix} \sigma _{x} ^{2} & \sigma _{xy} \newline \sigma _{xy} & \sigma _{y} ^{2} \end{bmatrix} $$
あとは単純に式の計算でしかないです。
$\rho = \frac{\sigma _{xy}}{\sigma _{x}\sigma _{y}}$を$X$と$Y$の相関係数とすると、$|\Sigma |$は次式になります。
$$ \begin{eqnarray} |\Sigma| &=& \sigma _{x} ^{2} \sigma _{y} ^{2} - \sigma _{xy} ^{2} \newline &=& \sigma _{x} ^{2} \sigma _{y} ^{2} \left( 1 - \frac{\sigma _{xy} ^{2}}{\sigma _{x} ^{2} \sigma _{y} ^{2}}\right) \newline &=& \sigma _{x} ^{2} \sigma _{y} ^{2} (1 - \rho ^{2}) \end{eqnarray} $$
指数関数の中身
指数関数の中身がかなり面倒くさそうなので、まずはそこを計算しましょう。
$\Sigma ^{-1}$は次のように表現されます。
$$ \Sigma ^{-1} = \frac{1}{|\Sigma |} \begin{bmatrix} \sigma _{y} ^2 & -\sigma _{xy} \newline -\sigma _{xy} & \sigma _{x} ^2 \end{bmatrix} $$
従って、指数関数の中身を$h(X)$とおくと、この式は次のように変形されます。
$$ \begin{eqnarray} h(X) &=& -\frac{1}{2} \begin{bmatrix} x - \mu _{x} & y - \mu _{y} \end{bmatrix} \frac{1}{|\Sigma |} \begin{bmatrix} \sigma _{y} ^2 & -\sigma _{xy} \newline -\sigma _{xy} & \sigma _{x} ^2 \end{bmatrix} \begin{bmatrix} x - \mu _{x} \newline y - \mu _{y} \end{bmatrix} \newline &=& -\frac{1}{2 |\Sigma |} \begin{bmatrix} \sigma _{y} ^2 (x - \mu _{x}) - \sigma _{xy}(y - \mu _{y}) & -\sigma _{xy} (x - \mu _{x}) + \sigma _{x} ^{2} (y - \mu _{y}) \end{bmatrix} \begin{bmatrix} x - \mu _{x} \newline y - \mu _{y} \end{bmatrix} \newline &=& -\frac{ \sigma _{y} ^2 (x - \mu _x) ^2 - 2 \sigma _{xy} (x - \mu _{x}) (y - \mu _{y}) + \sigma _{x} ^{2} (y - \mu _{y})}{2 \sigma _{x} ^2 \sigma _{y} ^2 (1 - \rho ^{2})} \newline &=& -\frac{1}{2(1 - \rho ^{2})} \left( \left( \frac{x - \mu _{x}}{\sigma _{x}}\right) ^{2} - 2\rho \frac{x - \mu _{x}}{\sigma _{x}}\frac{y - \mu _{y}}{\sigma _{y}} + \left( \frac{y - \mu _{y}}{\sigma _{y}} \right) ^{2} \right) \end{eqnarray} $$
2変量正規分布の確率密度関数
これを元の$f(X)$の式に代入し、$n=2$とすると2変量正規分布の式が導けます。
$$ \begin{eqnarray} f(X) &=& \frac{1}{(2 \pi) ^{ \frac{n}{2}}\sqrt{|\Sigma|}} \exp{ \left( -\frac{ (X - \mathbf{\mu} ) ^T \Sigma ^{-1} (X - \mu)}{2} \right) } \newline &=& \frac{1}{2\pi \sqrt{\sigma _{x} ^{2} \sigma _{y} ^{2} (1 - \rho ^{2})}} \exp{\left( -\frac{1}{2(1 - \rho ^{2})} \left( \left( \frac{x - \mu _{x}}{\sigma _{x}}\right) ^{2} - 2\rho \frac{x - \mu _{x}}{\sigma _{x}}\frac{y - \mu _{y}}{\sigma _{y}} + \left( \frac{y - \mu _{y}}{\sigma _{y}} \right) ^{2} \right) \right)} \end{eqnarray} $$
汚い式だなと感じますが、もしここで確率変数$X$と$Y$が独立であることを前提にすると$\rho=0$であり、その場合の式はもう少しマシになります。
$$ f(X)| _{\rho=0} = \frac{1}{2\pi \sigma _{x} \sigma _{y}} \exp{\left( -\frac{1}{2} \left( \left( \frac{x - \mu _{x}}{\sigma _{x}}\right) ^{2} + \left( \frac{y - \mu _{y}}{\sigma _{y}} \right) ^{2} \right) \right)} $$
