そもそも正規分布とは、統計学でよく使われる確率分布の一つで、平均値を中心に左右対称の釣り鐘型の曲線で表されます。
具体的に言うと、正規分布は平均値\(\mu\)と標準偏差\(\sigma^{2}\)という2つのパラメータによって特徴づけられます。平均値が分布の中心になり、標準偏差が小さいほど分布の幅が狭く、大きいほど分布の幅が広くなります。
正規分布は、自然界や社会現象の中に出現するさまざまなデータにおいて、その分布が観察されることが多いため、統計学において非常に重要な役割を果たしています。また、中心極限定理という重要な定理によって、標本平均の分布が正規分布に近似することが示されており、様々な統計解析において使用されます。
そして、通常の正規分布では以下のような正規分布の定義があります。
\begin{eqnarray}
f(x | \mu, \sigma^{2} ) &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}{exp(\frac{(x-\mu)^{2}}{2\sigma^{2}} )}
\end{eqnarray}
上記は1次元の正規分布で、確率変数が1つになります。
ここでは、確率変数が2つである多次元の正規分布の導出をしてみたいと思います。
多次元正規分布とは
多次元正規分布の定義としては以下です。
\begin{eqnarray}
f(x_{1}, ..., x_{n}|\mu, \sum) &=& \frac{1}{(2\pi)^{\frac{k}{2}} \sqrt{det(\sum)}} exp(-\frac{(x-\mu)'{\sum}^{-1}(x-\mu) }{2}) ・・・①
\end{eqnarray}
通常分母には分散値があったが、今回は\(\sum\)になっていて行列です。
なので、detをとって行列式計算をすることで定数にしていますね。
さらに、エクスポーネンシャルの中で分母に分散値があったが、これも分母に行列を置くことはできないので、上に置くために-1乗表記にして逆行列になっています。
（あくまで覚え方の話で、行列の-1乗(逆行列)が分子に持っていけるということではないです。)
今回は2次元正規分布を取り扱うので、確率変数を\(x_{1}, x_{2}\)とします。
そして平均を\(\mu = (\mu_{1}, \mu_{2})\)、分散は複数になると共分散というものになるので、\(\sum\)として、以下のように定義します。
\begin{eqnarray}
f(x_{1}, x_{2}|\mu, \sum) &=& \frac{1}{(2\pi)^{\frac{k}{2}} \sqrt{det(\sum)}} exp(-\frac{(x-\mu)'{\sum}^{-1}(x-\mu) }{2})
\end{eqnarray}
は相関係数を表しています。
分散は相関関係にも響き、複数の確率変数によって互いに影響をし合う可能性があるので、分散では1つの確率変数では定数という扱いですが、多次元の確率変数になる場合は共分散という行列のものになります。
①に計算を当てはめていきますが、当てはめるには以下の情報が必要になります。
- \( det|\sum| \)
- \( \sum^{-1} \)
- \( (X-\mu)^{T}\sum(X-\mu)\)
\begin{eqnarray}
det|\sum| &=& \sigma_{1}\sigma_{2}\sqrt{1-\omega^{2}} \\
\sum^{-1}
&=& \frac{1}{\sigma_{1}^{2}\sigma_{2}^{2} - \omega^{2}\sigma_{1}^{2}\sigma_{2}^{2}} \\
\end{eqnarray}