$X \sim N(\mu_1, \sigma_1 ^2)$、$Y \sim N(\mu_2, \sigma_2 ^2)$なる、互いに独立な2つの確率変数$X,Y$があったときを考えます。その和$X+Y$はどのような確率分布に従うでしょうか。
結論としては$X+Y \sim N(\mu_1+\mu_2, \sigma_1 ^2 + \sigma_2 ^2)$となります。このように、同じ確率分布に従う独立な確率変数の和の確率分布が、元々の確率分布に従う性質はwikipedia:再生性と呼ばれます。 再生性は、すべての確率分布が持つ性質ではありませんが、正規分布や二項分布、ポアソン分布などは再生性を持ちます。
確率変数の和の分布
変数変換後の同時確率密度関数を求める
まずは特定の確率分布に依存しない、一般的な話として進めます。
$X$、$Y$をある確率分布に従う確率変数とし、$Z=X+Y$なる確率変数を考えます。2変数から1変数への変換は議論しづらいので、あまり意味を成しませんが$W=Y$なる確率変数も新たに導入します。
$$ \begin{cases} Z=X+Y \newline W=Y \end{cases} \Leftrightarrow \begin{cases} X = Z - W \newline Y = W \end{cases} $$
そして、$X,Y$の同時確率密度関数を$f(x,y)$、$Z,W$の同時確率密度関数を$g(z,w)$とします。この$g(z,w)$が最初に求めたいターゲットですね。
$X,Y$と$Z,W$で確率変換をするわけなので、以下の式が成立します。
$$ f(x,y) dx dy = g(z,w) ||J|| dz dw $$
ここで、$J$はwikipedia:ヤコビアンですね。
$$ J = \begin{bmatrix} \frac{\partial z}{\partial x} & \frac{\partial z}{\partial y} \newline \frac{\partial w}{\partial x} & \frac{\partial w}{\partial y} \end{bmatrix} $$
具体的にヤコビアンを計算すると、以下のように$f(x,y)=g(z,w)$であることが導けます。
$$ \begin{eqnarray} dx dy &=& ||J|| dz dw = \begin{Vmatrix} 1 & 1 \newline 0 & 1 \end{Vmatrix} dzdw = dzdw \newline \therefore dxdy &=& dzdw \newline \therefore f(x,y) &=& g(z,w) \end{eqnarray} $$
ここで$Z,W$の定義から$X=Z-W, Y=W$です。つまり、求めたかった同時確率密度関数$g(z,w)=f(z-w, w)$であったことがわかります。
$Z=X+Y$に関する周辺確率密度関数
一方で、$W$は都合によって導入した変数ですから、この影響をなくして$Z=X+Y$のみの確率密度関数$g_1 (z)$を求めたい。これは周辺確率関数を求めると言うことになります。
$$ g_1(z) = \int _{-\infty} ^{\infty} g(z,w) dw \newline = \int _{-\infty} ^{\infty} f(z-w,w) dw \newline $$
特定の確率分布を前提にしないで考えて、ここまで辿り着きました。
$X$と$Y$が独立していることを考慮すると畳み込みが現れる
ここで$X$と$Y$が独立しているという前提を考えると、次のことが言えます。
$$ f(x,y) = f_1(x)f_2(y) $$
ここで$f_1,f_2$はそれぞれ$X,Y$の確率密度関数を表します。 これを先の式に代入すると次の式を得ます。
$$ g_1(z) = \int _{-\infty} ^{\infty} f_1(z-w)f_2(w) dw \newline $$
これはまさに、wikipedia:畳み込みの形ですね。 言い換えると、独立した確率変数$X,Y$の和$X+Y$の確率密度関数は、$X$、$Y$それぞれの確率密度関数の畳み込みになるということです。
再生性を示す
では、具体的に$f_1(x)$、$f_2(y)$の値を入れて計算してみましょう。 $X \sim N(\mu_1, \sigma_1 ^2)$、$Y \sim N(\mu_2, \sigma_2 ^2)$であることから、$g_1(z)$は次の式になります。
$$ \begin{eqnarray} g_1(z) &=& \int _{-\infty} ^{\infty} f_1(z-w)f_2(w) dw \newline &=& \int _{-\infty} ^{\infty} \frac{1}{\sqrt{2 \pi \sigma _1 ^2}} e ^{- \frac{( ( z - w ) - \mu _1) ^2}{2 \sigma _1 ^2}} \frac{1}{\sqrt{2 \pi \sigma _2 ^2}} e ^{-\frac{ ( w - \mu _2) ^2}{2 \sigma _2 ^2}} dw \newline &=& \frac{1}{2 \pi \sigma _1 \sigma _2} \int _{- \infty} ^{\infty} e ^{-\frac{ ( (z - w ) - \mu _1) ^2 \sigma _2 ^2 + (w - \mu _2) ^2 \sigma _1 ^2}{2\sigma _1 ^2 \sigma _2 ^2}} dw \end{eqnarray} $$
$e$の肩の式を、$w$に関して整理していきます。
$$ \begin{eqnarray} && \frac{ ( (z-w)-\mu _1) ^2 \sigma _2 ^2 + (w-\mu _2) ^2\sigma _1 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \newline &=& \frac{(z ^2 - 2zw + w ^2 -2(z-w)\mu _1 + \mu _1 ^2)\sigma _2 ^2 + (w ^2 - 2 \mu _2 w + \mu _2 ^2 ) \sigma _1 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \newline &=& \frac{(z ^2 - 2zw + w ^2 -2(z-w)\mu _1 + \mu _1 ^2)\sigma _2 ^2 + (w ^2 - 2 \mu _2 w + \mu _2 ^2 ) \sigma _1 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \newline &=& \frac{(\sigma _1 ^2 + \sigma _2 ^2)w ^2 + 2(-z\sigma _2 ^2 - \mu _2 \sigma _1 ^2 +\mu _1 \sigma _2 ^2)w + (z ^2 -2z\mu _1 +\mu _1 ^2)\sigma _2 ^2 + \mu _2 ^2 \sigma _1 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \newline &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \left( \left( w - \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \right) ^2 + \frac{(z - \mu _1) ^2 \sigma _2 ^2 + \mu _2 ^2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} - \left( \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \right) ^2 \right) \newline &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \left( \left( w - \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \right) ^2 + \frac{(z - \mu _1) ^ 2\sigma _2 ^2 (\sigma _1 ^2 + \sigma _2 ^2) + \mu _2 ^2 \sigma _1 ^2 (\sigma _1 ^2 + \sigma _2 ^2) - (z-\mu _1) ^ 2 \sigma _2 ^4 - 2(z - \mu _1)\mu _2 \sigma _1 ^2 \sigma _2 ^2 - \mu _2 ^2 \sigma _1 ^4}{(\sigma _1 ^2 + \sigma _2 ^2) ^2} \right) \newline &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \left( \left( w - \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \right) ^2 + \frac{(z - \mu _1) ^2 \sigma _1 ^2 \sigma _2 ^2 + \mu _2 ^2 \sigma _1 ^2 \sigma _2 ^2 - 2 (z - \mu _1) \mu _2 \sigma _1 ^2 \sigma _2 ^2 }{(\sigma _1 ^2 + \sigma _2 ^2) ^2} \right) \newline &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \left( \left( w - \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \right) ^2 + \sigma _1 ^2 \sigma _2 ^2 \frac{(z - \mu _1) ^2 - 2 (z - \mu _1) \mu _2 + \mu _2 ^2}{(\sigma _1 ^2 + \sigma _2 ^2) ^2} \right) \newline &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2 \sigma _1 ^2 \sigma _2 ^2} \left( w - \frac{ ( z - \mu _1 ) \sigma _2 ^2 + \mu _2 \sigma _1 ^2}{ \sigma _1 ^2 + \sigma _2 ^2} \right) ^2 + \frac{ (z - ( \mu _1 + \mu _2 ) ) ^2}{ \sigma _1 ^2 + \sigma _2 ^2} \end{eqnarray} $$
整理はここまででしょうか。 煩雑で扱いづらいので、以下のように変換します。
$$ \begin{eqnarray} \alpha &=& \frac{\sigma _1 ^2 + \sigma _2 ^2}{2\sigma _1 ^2 \sigma _2 ^2} \newline \beta &=& \frac{(z-\mu _1)\sigma _2 ^2 + \mu _2 \sigma _1 ^2}{\sigma _1 ^2 + \sigma _2 ^2} \newline \gamma &=& \frac{(z - (\mu _1 + \mu _2)) ^2}{2(\sigma _1 ^2 + \sigma _2 ^2)} \end{eqnarray} $$
そうすると、$g_1(x)$は次のように表現できます。
$$ \begin{eqnarray} g_1(x) &=& \frac{1}{2\pi\sigma _1 \sigma _2} \int _{-\infty} ^{\infty} e ^{-\alpha (w-\beta) ^2 - \gamma} dw \newline &=& \frac{e ^ {- \gamma}}{2\pi\sigma _1 \sigma _2} \int _{-\infty} ^{\infty} e ^{-\alpha (w-\beta) ^2} dw \end{eqnarray} $$
$t=\sqrt{\alpha}(w - \beta)$とおくと、$dw=\frac{1}{\sqrt{\alpha}}dt$。積分区間も変わりません。従って、$g_1(x)$は次の式に変換できます。
$$ \begin{eqnarray} g_1(x) &=& \frac{e ^ {-\gamma}}{2\pi\sigma _1 \sigma _2} \int _{-\infty} ^{\infty} e ^{-t ^2} \cdot \frac{1}{\sqrt{\alpha}} dt \newline &=& \frac{e ^ {-\gamma}}{2\pi\sigma _1 \sigma _2 \sqrt{\alpha}} \int _{-\infty} ^{\infty} e ^{-t ^2} dt \newline &=& \frac{e ^ {-\gamma}}{2\pi\sigma _1 \sigma _2 \sqrt{\alpha}} \cdot \sqrt{\pi} \newline &=& \frac{1}{2\pi \sigma _1 \sigma _2} \cdot \sqrt{\frac{2\sigma _1 ^2 \sigma _2 ^2}{\sigma _1 ^2 + \sigma _2 ^2}} \cdot \sqrt{\pi} \cdot e ^ {-\frac{(z - (\mu _1 + \mu _2)) ^2}{2(\sigma _1 ^2 + \sigma _2) ^2}} \newline &=& \frac{1}{\sqrt{2\pi(\sigma _1 ^2 + \sigma _2 ^2)}} e ^ {-\frac{(z - (\mu _1 + \mu _2)) ^2}{2(\sigma _1 ^2 + \sigma _2) ^2}} \end{eqnarray} $$
これは$N(\mu_1 + \mu_2, \sigma _1 ^2 + \sigma _2 ^2)$の確率密度関数です。従って、$Z=X+Y \sim N(\mu_1 + \mu_2, \sigma _1 ^2 + \sigma _2 ^2)$であることがわかります。
