確率変数であれば、期待値や分散を持ちます。
そしてさまざまな統計量は確率変数の値を用いて計算されたりするので、統計量も確率変数になります。
確率変数を\(X\)とすれば、統計量はその\(X\)の式で表されるので、関数\(f\)を用いて、\(f(X)\)と表現できます。
確率変数\(X\)の期待値や分散がわかっている時、この統計量\(f(X)\)の期待値、分散はどう求めることができるでしょうか。
単純な\(f(X)=3X\)であれば、期待値\(E[f(X)] = E[3X] = 3E[X]\)、分散\(V(f(X)) = V(3X) = 9V(X)\)と求めることができますが、
\(f(X)=X+X^{2}\)とかになるとどうでしょうか。
2乗があるので分散公式でなんとか解けたり、モーメント母関数でもどうにか解けたりするかもですが、なかなか求めるのが難しかったりします。
こういった時に使うことのできる手法として、「デルタ法」を説明します。
デルタ法とは
確率変数\(X\)が平均\(\mu\)、分散\(\sigma^{2}\)としたとき、
関数\(f(X)\)の平均と分散は、
平均 : \(E[f(X)] = g(\mu) \)
分散 : \(V(f(X)) = g(\mu) \)
※ 平均、分散とあるからXは正規分布に従うということではないです。確率変数は平均と分散をデフォで持ちます。
関数f(X)の平均と分散なので、どんなXの式でも平均と分散を求めることができるということです。
めちゃくちゃ強力ですね！
デルタ法を用いて平均と分散の導出
ここでf(X)のテイラー展開をしてみます。
g(X)を中心にテイラー展開をしてみると、
なぜかというと、
分散は(x-g(x))^{2}と表現できる。
g(x)は期待値になります。
なので、テイラー展開でg(x)の周りで展開するということを考えます。
テイラー展開をすると、
\begin{eqnarray}
f(x)
&=& \sum_{i=0}^{\infty} \frac{f^{(i)}(g(x))}{n!}(x-g(x))^{i} \\
&=& \frac{f^{(0)}(g(x))}{0!}(x-g(x))^{0} + \frac{f^{(1)}(g(x))}{1!}(x-g(x))^{1} + \frac{f^{(2)}(g(x))}{2!}(x-g(x))^{2} + \cdot \cdot \cdot + \frac{f^{(n)}(g(x))}{n!}(x-g(x))^{n} + \cdot \cdot \cdot\\
&=& f(g(x)) + \frac{f^{(1)}(g(x))}{1!}(x-g(x))^{1} + \frac{f^{(2)}(g(x))}{2!}(x-g(x))^{2} + \cdot \cdot \cdot + \frac{f^{(n)}(g(x))}{n!}(x-g(x))^{n} + \cdot \cdot \cdot\\
\end{eqnarray}
ここで右辺の第3項以降はほぼ0に等しいので無視して、
\begin{eqnarray}
f(x) &=& f(g(x)) + \frac{f^{(1)}(g(x))}{1!}(x-g(x))^{1} + \frac{f^{(2)}(g(x))}{2!}(x-g(x))^{2} \\
\end{eqnarray}
これに対して期待値を当てます。
\begin{eqnarray}
E[f(x)]
&=& E[f(g(x)) + \frac{f^{(1)}(g(x))}{1!}(x-g(x))^{1} + \frac{f^{(2)}(g(x))}{2!}(x-g(x))^{2}] \\
\end{eqnarray}
\begin{eqnarray}
\displaystyle \frac{g(\theta_{0}) - g(\theta_{1})}{\theta_{0} - \theta_{1}} &=& g^{'}(\theta_{1}) \\
g(\theta_{0}) - g(\theta_{1}) &=& g^{'}(\theta_{1})(\theta_{0} - \theta_{1}) \\
g(\theta_{0}) &=& g(\theta_{1}) + g^{'}(\theta_{1})(\theta_{0} - \theta_{1}) (テイラー展開) \\
\end{eqnarray}
普通の微分と同じ。変化量=傾きだから結果、微分と一緒。