チェビシェフの不等式
期待値$\mu$、分散$\sigma ^{2}$を持つ確率分布に従う確率変数$X$があるとします。 このとき任意の実数$k > 0$をとり、分散$\sigma ^{2}$の定義式から不等式を導いていくと、次のような不等式が導けます。これをチェビシェフの不等式といいます。
$$ \begin{align} \sigma ^{2} &\equiv \int _{- \infty} ^{\infty} (x-\mu) ^{2} f(x) dx \newline &= \int _{-\infty} ^{\mu - k\sigma} (x-\mu) ^{2} f(x) dx + \int _{\mu - k\sigma} ^{\mu + k\sigma} (x-\mu) ^{2} f(x) dx + \int _{\mu + k\sigma} ^{\infty} (x-\mu) ^{2} dx \newline &\geq \int _{-\infty} ^{\mu - k\sigma} (x-\mu) ^{2} f(x) dx + \int _{\mu + k\sigma} ^{\infty} (x-\mu) ^{2} f(x) dx \quad (\because \int _{\mu - k\sigma} ^{\mu + k\sigma} (x-\mu) ^{2} f(x) dx > 0) \newline &\geq (k\sigma) ^2 \int _{-\infty} ^{\mu - k\sigma} f(x) dx + (k\sigma) ^2 \int _{\mu - k\sigma} ^{\infty} f(x) dx \newline &= k ^{2} \sigma ^{2} \left( P(X \leq \mu - k\sigma) + P(X \geq \mu + k\sigma) \right) \newline &= k ^{2} \sigma ^{2} \left( P(X - \mu \leq -k\sigma) + P(X - \mu \geq k\sigma) \right) \newline &= k ^{2} \sigma ^{2} P(|X-\mu| \geq k\sigma) \newline \therefore \sigma ^{2} &\geq k ^{2} \sigma ^{2} P(|X-\mu| \geq k\sigma) \newline \therefore P(|X-\mu| \geq k\sigma) &\leq \frac{1}{k ^{2}} \end{align} $$
この導出の過程において、確率変数$X$がどのような確率分布に従うのかは前提にしていません。そのためこの不等式は、期待値と分散が存在する確率分布一般に対して成立します。
例えば$k=2$とすれば、確率変数$X$が期待値$\mu$から$2\sigma$以上離れるような確率は、確率分布に依らず$\frac{1}{4}$ (=25％)以下であることがわかります。
また、チェビシェフの不等式における余事象をとると、次の不等式としても表現できます。
$$ P(|X-\mu| < k\sigma) > 1 - \frac{1}{k ^{2}} $$
さらに、$\epsilon \equiv k\sigma$とすれば、次のようにも示せます。
$$ P(|X-\mu| < \epsilon) > 1 - \frac{\sigma ^{2}}{\epsilon ^{2}} $$
大数の弱法則
$X _{i} : (i \in {1, 2, \cdots, n })$を、互いに独立に期待値$\mu$、分散$\sigma ^{2}$であるような同一の確率分布に従う確率変数とします。このとき、それらの平均$\bar{X}\equiv \frac{\sum _{i} ^{n} X _{i}}{n}$の期待値、分散はそれぞれ$\mu$、$\frac{\sigma ^{2}}{n}$となります。
では、この$\bar{X}$に関し、チェビシェフの不等式の余事象に関する式に代入してみましょう。 $\bar{X}$の期待値、分散はそれぞれ$\mu$、$\frac{\sigma ^{2}}{n}$であることに注意すれば、次の不等式が成立します。
$$ P(|\bar{X} - \mu| < \epsilon) > 1 - \frac{\sigma ^{2}}{n\epsilon} $$
この不等式において$n$を大きくしていくことと、$\bar{X}$が期待値$\mu$から外れる確率はいくらでも小さくできます。つまり、標本平均$\bar{X}$は母平均$\mu$に確率収束します。 これを大数の弱法則と呼びます。
チェビシェフの不等式は特定の確率分布を前提としておらず、そこからの導出過程においても同様であるため、大数の弱法則も期待値と分散が存在する任意の確率分布に対して成立する法則になります。
