正規分布のモーメント母関数（積率母関数）を求める

モーメント母関数とは

モーメント母関数は以下で定義されるものです。

確率変数$X$のモーメント母関数（積率母関数）は、
$$\begin{eqnarray} M_{X}(t) &=& E[ \exp(tX)] \end{eqnarray}$$
で定義されます。
 

確率密度関数とモーメント母関数は1対1の関係になります。そのため、確率密度関数を求めるとモーメント母関数を求めることができ、モーメント母関数から確率密度関数を求めることができます。
1対1ということは、
確率密度関数のモーメント母関数は、例えば複雑な二項分布の式だったとしても、モーメント母関数の式はどれも同じような形式で表せるということになります。（以下の「確率変数$Y=aX+b$のモーメント母関数」参照)

上記のモーメント母関数を算出すると、期待値、分散はもちろん、尖度(せんど)や歪度(わいど)を求めることができます。
$$\begin{eqnarray} E[X] &=& M_{X}'(0) \\ E[X^{2}] &=& M_{X}''(0) \\ E[X^{3}] &=& M_{X}^{(3)}(0) \\ E[X^{4}] &=& M_{X}^{(4)}(0) \end{eqnarray}$$

期待値は$E[X]$、
分散は$V[X]=E[X^{2}] - E[X]^{2}$なので、$E[X]$は期待値からで、$E[X^{2}]$が必要。
歪度(わいど）は$\displaystyle\frac{E[(X-\mu)^{3}]}{\sigma^{3}}$なので、展開すると$E[X^{2}]$と$E[X]$は上で求まっているので、$E[X^{3}]$はモーメント母関数の3回微分の結果に対して$t=0$で、
尖度（せんど）は$\displaystyle\frac{E[(X-\mu)^{4}]}{\sigma^{4}}-3$なので、展開すると$E[X^{3}]$と$E[X^{2}]$と$E[X]$は上で求まっているので、$E[X^{4}]$はモーメント母関数の4回微分の結果に対して$t=0$で、
求めていくことが可能になります。
 

もちろん、$E[(X-\mu)^{3}]$は
$$\begin{eqnarray} E[(X-\mu)^{3}]　&=& \int (x-\mu)^{3}f(x)dx \end{eqnarray}$$
のようにして直接求めることは可能です。

ただモーメント母関数を求めることによって、上記の微分から各種の統計指標を求めていくことも可能になります。
ただ自力で計算などで求めていくことはなかなか難しく、正規分布は取り扱いやすいというのもあり、
ここでは正規分布のモーメント母関数を実際に求めてみたいと思います。
 

正規分布のモーメント母関数の導出

Xが正規分布に従うとして期待値$\mu$、分散$\sigma$で、モーメント母関数は以下のように表せる
$$\begin{eqnarray} M_{X}(t) &=& E[\exp(tX)] \\ &=& \exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right) \end{eqnarray}$$

モーメント母関数を正規分布で

正規分布は連続分布なので、期待値計算はインテグラルになります。離散分布の場合はサーメーションです。
導出のポイントとしては、以下がポイントになります。

上の$\mu$や$\sigma$は何でも良いので、どんなものでも正規分布になれば上記を満たすということになります。
 
 
上を考えた上で、導出してみます。展開をしていって、途中で$x$について整理していきましょう。
 

$$\begin{eqnarray} M(t) &=& E[\exp(tx)] \\ &=& \int{\exp(tx)f(x)}dx \\ &=& \int{\exp(tx)\cdot\frac{1}{\sqrt{2\pi\sigma^{2}}}{\exp \left( -\frac{(x-\mu)^{2}}{2\sigma^{2}} \right)} }dx \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\int{{\exp \left(tx -\frac{(x-\mu)^{2}}{2\sigma^{2}} \right)} }dx \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\int{{\exp \left(\frac{x^{2} - 2{\mu}x + {\mu}^{2} -2\sigma^{2}tx}　{2\sigma^{2}} \right)} }dx \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\int{{\exp \left(\frac{x^{2} - 2({\mu}+\sigma^{2}t)x + {\mu}^{2}}　{2\sigma^{2}} \right)} }dx ・・・①\\ \end{eqnarray}$$
 
ここで、上記の正規分布の形を作りたいので、平方完成をします。エクスポーネンシャルの中を平方完成すると、
$$\begin{eqnarray} x^{2} - 2({\mu}+\sigma^{2}t)x + {\mu}^{2} &=& (x - ({\mu}+\sigma^{2}t))^{2} - ({\mu}+\sigma^{2}t)^{2} + {\mu}^{2} \\ &=& (x - ({\mu}+\sigma^{2}t))^{2} - {\mu}^{2} - 2\mu\sigma^{2}t - (\sigma^{2}t)^{2} + {\mu}^{2} \\ &=& (x - ({\mu}+\sigma^{2}t))^{2} - 2\mu\sigma^{2}t - \sigma^{4}t^{2} \\ &=& -(x - ({\mu}+\sigma^{2}t))^{2} + 2\mu\sigma^{2}t + \sigma^{4}t^{2} \\ \end{eqnarray}$$
 
これをエクスポーネンシャルに入れて再度計算します。

$$\begin{eqnarray} M(t) &=& ① \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\int{{\exp \left(\frac{　 -(x - ({\mu}+\sigma^{2}t))^{2} + 2\mu\sigma^{2}t + \sigma^{4}t^{2} 　}　　{2\sigma^{2}} \right)} }dx \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\int{{\exp \left(-\frac{　(x - ({\mu}+\sigma^{2}t))^{2}　}{　2\sigma^{2}} \right) \exp \left( \frac { 2\mu\sigma^{2}t + \sigma^{4}t^{2} }{2\sigma^{2}} \right)} }dx \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp \left( \frac { 2\mu\sigma^{2}t + \sigma^{4}t^{2} }{2\sigma^{2}} \right) \int{{\exp \left(-\frac{　(x - ({\mu}+\sigma^{2}t))^{2}　}{　2\sigma^{2}} \right)} }dx ・・・②\\ \end{eqnarray}$$
 

よって、$②$の右辺は、正規分布$N({\mu}+\sigma^{2}t, \sigma^{2})$のインテグラル計算で、値が1になるので、
$$\begin{eqnarray} M(t) &=& ② \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp \left( \frac { 2\mu\sigma^{2}t + \sigma^{4}t^{2} }{2\sigma^{2}} \right) \\ &=& \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp \left({\mu}t + \frac{1}{2}{\sigma^{2}t^{2}} \right) \\ \end{eqnarray}$$

となり、$\displaystyle\frac{1}{\sqrt{2\pi\sigma^{2}}}$は定数倍なので無視をして、
$$\begin{eqnarray} M(t) &=& \exp \left({\mu}t + \frac{1}{2}{\sigma^{2}t^{2}} \right) \end{eqnarray}$$
正規分布のモーメント母関数を導出できました。
 

モーメント母関数で期待値を求める

ここで期待値を求めます。モーメント母関数を1回微分して$t$=0したものが期待値になるので、
$$\begin{eqnarray} M'(t) &=& \frac{d}{dt}M(t) \\ &=& \frac{d}{dt}\biggr\{ \exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right) \biggr\} \\ &=& \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)'\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} \\ &=& \left({\mu} + \sigma^{2}t \right)\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} \\ \end{eqnarray}$$

ここで$t$=0とすると、
$$\begin{eqnarray} M'(0) &=& \left({\mu} + \sigma^{2}\cdot0 \right)\cdot{\exp \left({\mu}\cdot0 + \frac{1}{2}\sigma^{2}\cdot0 \right)} \\ &=& \mu \end{eqnarray}$$
 

モーメント母関数で分散を求める

次に分散を求めます。
ここで$M''(t)$を求めます。
理由としては分散公式を使って求める時、$E[X]$は上の期待値からわかりますが、$E[X^{2}]$はまだ求まっておらずわからないからです。
なので、$E[X^{2}] = M''(0)$で求める必要があります。

$$\begin{eqnarray} M''(t) &=& \frac{d}{dt}{M'(t)} \\ &=& \frac{d}{dt} \biggr\{({\mu} + \sigma^{2}t)\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)}\biggr\} \\ &=& \left({\mu} + \sigma^{2}t \right)'\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} + \left({\mu} + \sigma^{2}t \right)\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)}' \\ &=& (\sigma^{2})\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} + \left({\mu} + \sigma^{2}t \right)\cdot \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)'\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} \\ &=& (\sigma^{2})\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} + \left({\mu} + \sigma^{2}t \right)^{2}\cdot{\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)} \\ \end{eqnarray}$$

ここで$t$=0とすると、
$$\begin{eqnarray} M''(0) &=& (\sigma^{2})\cdot{\exp \left({\mu}\cdot0 + \frac{1}{2}\sigma^{2}\cdot0 \right)} + \left({\mu} + \sigma^{2}\cdot0 \right)^{2}\cdot{\exp \left({\mu}\cdot0 + \frac{1}{2}\sigma^{2}\cdot0 \right)} \\ &=& \sigma^{2} + {\mu} \end{eqnarray}$$

ここで分散公式から、
$$\begin{eqnarray} V[X] &=& E[X^{2}] - {E[X]}^{2} \\ &=& M''(0) - {M'(0)}^{2} \\ &=& (\sigma^{2} + {\mu}) - \mu \\ &=& \sigma^{2} \end{eqnarray}$$
よって、分散公式から、$V[X] = \sigma^{2}$となります。
 

確率変数$Y=aX+b$のモーメント母関数

母関数と確率分布は1対1。
正規分布のモーメント母関数は$\displaystyle　M(t)=\exp \left({\mu}t + \frac{1}{2}\sigma^{2}t^{2} \right)$で、この式の形にすることで、
正規分布での平均と分散を求めることができる。
 

ここで1つ確率変数$X$を用いて、$Y=aX+b$という確率変数$Y$をおきます。
$X$は平均$\mu$,分散$\sigma$の正規分布とする。
このとき
$$\begin{eqnarray} M_{Y}(t) &=& E[\exp(tY)] \\ &=& E[\exp(t(aX+b)] \\ &=& E[\exp(aXt+bt)] \\ &=& E[\exp(aXt)\exp(bt)] \\ &=& E[\exp(aXt)]E[\exp(bt)] \\ \end{eqnarray}$$

ここで今回は$E[\exp(aXt)]=E[\exp((at)X)]$と見るようにして、$t$を$at$に置き換えると、
$$\begin{eqnarray} M_{Y}(t) &=& E[\exp((at)X)]E[\exp(bt)] \\ &=& \exp(bt) \left(\exp({\mu}(at) + \frac{1}{2}\sigma^{2}(at)^{2}) \right) \\ &=& \exp \left((a{\mu}+b)t + \frac{1}{2}(a\sigma)^{2}t^{2} \right) \\ \end{eqnarray}$$

ここで、上の正規分布のモーメント母関数の定義を再掲します。

$M_{Y}$の式と見比べると、①と比較した時に$\mu$の箇所が$a\mu+b$に、$\sigma^{2}$の箇所が$a^{2}\sigma^{2}$になっているので、確率変数$Y$の平均は$a\mu+b$、分散は$a^{2}\sigma^{2}$となる。
 

モーメント母関数の期待値/分散あってるかを、普通のやり方で求めてみる

実際にモーメント母関数からではなく、普通に求めてみます。
確率変数$Y$の期待値は、
$$\begin{eqnarray} E[Y] &=& E[aX+b] \\ &=& E[aX]+E[b] \\ &=& E[aX]+E[b] \\ &=& aE[X]+b \\ &=& a\mu+b \end{eqnarray}$$

確率変数$Y$の分散は、
$$\begin{eqnarray} E[Y] &=& V[aX+b] \\ &=& V[aX]+V[b] \\ &=& V[aX] \\ &=& a^{2}V[X] \\ &=& a^{2}\sigma^{2} \end{eqnarray}$$

モーメント母関数から求めた期待値と分散と、普通に求めた期待値と分散の値が一致しているのが確認できます。