そもそもの目的はこのy_{t}を予測することで、\alphaを求めることです。
これにより時系列データがどんなモデルによって生成されているのかを掴むことで、今後の数値の予測ができるようになるわけです。
そんな時系列データとして有名なARモデルやMAモデルなどをここで扱っていこうと思います！
ARモデル
【イメージ】
これは単純で、
t期のデータはt-1期のデータによってもたらされていると想定する。
これは直感的にイメージ湧きますよね。
株価のデータがあったとして、今10000です。
そして次の期が100になるってほぼほぼないですよね。つまり10000を起点とした上で少し前後するようなイメージです。
つまりこれは前のデータに引っ張られて次の期のデータが生成されるとするメカニズムで、
以下のような式を考えます。
ココがポイント
【ARモデル】
ARモデルは、t-1期の実データに相関して影響を受けてt期のデータが生成されていると想定するモデル。
\begin{eqnarray}
y_{t} &=& c + \alpha_{1}y_{t-1} + U_{t}
\end{eqnarray}
平均値を求める
そもそも定常とは各実測値の平均が同じであることです。
なので、上のARモデルに対して、定常性を持っていると仮定する。
つまり平均値が同じ\(\mu\)であると仮定して、計算をしてみると、
\begin{eqnarray}
y_{t} &=& \alpha_{1}y_{t-1} + U_{t} \\
E[y_{t}] &=& E[\alpha_{1}y_{t-1} + U_{t}] \\
E[y_{t}] &=& \alpha_{1}E[y_{t-1}] + E[U_{t}] \\
\mu &=& \alpha_{1}\mu + 0 \\
\mu(1-\alpha_{1}) &=& 0 \\
\end{eqnarray}
さらに、2つ目の影響までを考えてみると、
\begin{eqnarray}
y_{t} &=& \alpha_{1}y_{t-1} + U_{t} \\
y_{t} &=& \alpha_{1}(\alpha_{2}y_{t-2} + U_{t-1}) + U_{t} \\
y_{t} &=& \alpha_{1}\alpha_{2}y_{t-2} + \alpha_{1}U_{t-1} + U_{t} \\
\end{eqnarray}
となるので、
\begin{eqnarray}
E[y_{t}] &=& E[\alpha_{1}\alpha_{2}y_{t-2} + \alpha_{1}U_{t-1} + U_{t}] \\
E[y_{t}] &=& \alpha_{1}\alpha_{2}E[y_{t-2}] + \alpha_{1}E[U_{t-1}] + E[U_{t}] \\
\end{eqnarray}
MAモデル
ノイズによって生成されていると考えるモデルがMAモデルです。
\begin{eqnarray}
y_{t} &=& \mu + U_{t} + \theta_{1}U_{t-1}
\end{eqnarray}
つまり、\(y\)の値は大体な平均値があった上で、その\(t\)期のデータにノイズが入って、さらには多少前の期のノイズの影響を受けていると想定した式となる。
【イメージ】
\(y_{t} = \mu + U_{t}\)でいいじゃんとも思いますが、
だけだと、そもそも時系列データが\(t-1\)期や\(t-2\)期のデータの影響受けてないってことになるので、
そうなると独立になるので、後ろに期はずれているので多少の相関があると仮定して、\(\theta_{1}U_{t-1}\)を付加的につけている。
そうなるとそもそもの\(y\)の\(t\)期や\(t-1\)期のデータが独立になってしまうので、そうなると時系列の分析がそもそもできない話になるので、
もちろん過去のデータを予測するためには階差数列を作らないといけないので、このような式になる。
ココがポイント
【MAモデル】
MAモデルは、時系列データの平均値を\(\mu\)として、それを基準にノイズを積み重ねていくことでデータが生成されると想定するモデルのことで、以下のように表せる。
\begin{eqnarray}
y_{t} &=& \mu + U_{t} + \theta_{1}U_{t-1}
\end{eqnarray}
平均値を求める
そもそも定常とは各実測値の平均が同じであることです。
なので、上のARモデルに対して、定常性を持っていると仮定する。
つまり平均値が同じ\(\mu\)であると仮定して、計算をしてみると、
\begin{eqnarray}
E[y_{t}] &=& E[\mu + U_{t} + \theta_{1}U_{t-1}] \\
E[y_{t}] &=& \mu + E[U_{t}] + \theta_{1}E[U_{t-1}] \\
E[y_{t}] &=& \mu \\
\end{eqnarray}
となるので、どんな\(t\)においても平均値は一定となり定常となります。
ここで分散を求めてみると、
\begin{eqnarray}
V(y_{t}) &=& E[(y_{t} - \mu)^{2}] \\
&=& E[(U_{t} + \theta_{1}U_{t-1})^{2}] \\
&=& E[U_{t}^{2} + 2\theta_{1}U_{t-1}U_{t} + \theta_{1}U_{t-1}^{2}] \\
&=& E[U_{t}^{2}] + 2\theta_{1}E[U_{t-1}U_{t}] + \theta_{1}^{2}E[U_{t-1}^{2}]・・・① \\
\end{eqnarray}
ここでノイズについて分散公式を用いて、
\begin{eqnarray}
V(U_{t}) &=& E[U_{t}^{2}] - (E[U_{t}])^{2} \\
\sigma^{2} &=& E[U_{t}^{2}] - 0 \\
\sigma^{2} &=& E[U_{t}^{2}] \\
\end{eqnarray}
となり、どんな\(t\)でも成立するので、①から
\begin{eqnarray}
V(y_{t}) &=& \sigma^{2} + 2\theta_{1}E[U_{t-1}U_{t}] + \theta_{1}^{2}\sigma^{2}・・・① \\
&=& \sigma^{2}(1+\theta_{1}^{2}) + 2\theta_{1}E[U_{t-1}U_{t}] ・・・① \\
\end{eqnarray}