確率の公理

確率論にはwikipedia:確率の公理と呼ばれる公理があります。簡単に言えば以下を成立させる$P(\cdot)$を確率として定義すると言うものです。

任意の事象$A$に関して、$0\leq P(A) \leq 1$
全事象$\Omega$に対して$P(\Omega)=1$
違いに排反な事象$A_i (i=1,2,\cdots)$に対して$P(\cup_{i=1}^{\infty} A_i)=\sum_{i=1}^{\infty}P(A_i)$

確率変数と確率分布

確率変数$X$が離散的な値を取るとき、それは離散型の確率変数と呼ばれます。逆に、連続的な値を取るときは連続型の確率変数と呼ばれます。

離散型確率変数$X$の取り得る値を$\lbrace x_1, x_2, \cdots \rbrace$とし、それに対して確率$P(X=x_1)=f(x_i)$が与えられるとき、確率関数$f(x_i)$は当然以下の条件を満たさなければなりません。

$$ \begin{eqnarray} 0 \leq f(x_i) \leq 1 \newline \sum_{i=1}^{\infty}f(x_i)=1 \end{eqnarray} $$

連続型確率変数$X$が区間$[a, b]$の値を取る確率が以下の式で与えられる関数$f(x)\geq 0$を考えます。

$$ P(a\leq X \leq b) = \int_{a}^{b}f(x)dx $$

この関数$f(x)$は確率密度関数と呼ばれ、確率の公理から以下の式を満たします。

$$ \int_{-\infty}^{\infty}f(x)=1 $$

離散型、連続型それぞれに対して、累積分布関数$F(x)=P(X\leq x)$が定義できます。

期待値と分散

確率変数$X$の期待値は、確率変数がどのような値を取ると期待されるかを示すものです。

離散型の場合、期待値と分散は以下の式で定義されます。

期待値: $E[X] \equiv \sum_{i}x_i f(x_i)=\mu$
分散: $V[X] \equiv E\lbrack (X - \mu) ^2 \rbrack= \sum_{i} (x_i - \mu) ^2 f(x_i)=\sigma ^2$

同様に、連続型の場合の定義は以下です。

期待値: $E(X) \equiv \int_{-\infty}^{\infty}xf(x)dx=\mu$
分散: $V(X) \equiv E\lbrack (X - \mu) ^2 \rbrack = \int_{-\infty} ^{\infty} ( x - \mu ) ^2 f(x)dx = \sigma ^2$

よく知られているように、分散$\sigma ^2$の平方根$\sigma$は標準偏差と呼ばれます。

分散の式変形

離散型の分散の式は、以下のように変形できます。

$$ \begin{eqnarray} V[X] &=& \sum_i (x_i-\mu) ^2 f(x_i) \newline &=& \sum_i (x_i ^2 - 2x_i \mu + \mu ^2) f(x_i) \newline &=& \sum_i x_i ^2 f(x_i) - 2 \mu \sum_i x_i f(x_i) + \mu ^2 \newline &=& E(X ^2) - 2 \mu ^2 + \mu ^2 \newline &=& E(X ^2) - \mu ^2 \end{eqnarray} $$

この結論は連続型確率変数$X$に関しても同様で、分散の値は$X ^2$の期待値から平均の２乗を減じて求められます。

線形性

確率変数$X$に対し、$aX+b$の期待値を計算してみると以下のようになり、線形性を持ちます。

$$ \begin{eqnarray} E[aX+b] &=& \sum (ax_i+b)f(x_i) \newline &=& a\sum x_i f(x_i) + b\sum_i f(x_i) \newline &=& aE(X) + b \end{eqnarray} $$

一方で$aX+b$の分散については線形性が成立せず、その値は$X$の係数の2乗倍となります。

$$ \begin{eqnarray} V(aX+b) &=& E\left\lbrack \left( (aX+b) - E\lbrack aX+b \rbrack \right) ^2 \right\rbrack \newline &=& E\left\lbrack \left(aX+b - (aE(X)+b) \right) ^2 \right\rbrack \newline &=& E\left\lbrack a ^2 (X-E[X]) ^2 \right\rbrack \newline &=& a ^2 E\lbrack (X-\mu ) ^2 \rbrack \newline &=& a ^2 V(X) \end{eqnarray} $$