リッジ回帰・ロッソ回帰

正則化

リッジ回帰やロッソ回帰は、
簡単に説明すると変数選択法です。
回帰分析するのに必要な説明変数を、このリッジ回帰やロッソ回帰を用いて選択するということができます。

他にも変数選択法については色々あります。
AICや、クロスバリデーション、BIC、リッジ回帰、ロッソ回帰、多重共線性、正則化最小二乗法、正則化最尤法
などありますが、ここではリッジ回帰、ロッソ回帰について話していきます。

正則化とは

正則化とは、最小二乗法などそのまま説明変数などの洗い出しなどを行ったりせず、そのまま最小二乗法を行うと説明変数が多いことによる過学習などが生じで、今のデータに対してオーバーフィッティングしすぎたせいで、将来のデータに対しては全然予測がうまくいかないモデルができたりします。
そのような場合に、最小二乗法の式に正則化項というものをつけて、最小二乗法を行う手法を正則化最小二乗法と呼びます。

 
正則化項を後ろにつければ良いということではありません。
上記式は以下のように捉えることができます。
\begin{eqnarray}
S
&=& \sum_{i=1}^{n} (y_{i} - X\beta)^{2} (\sum_{j=1}^{k}|X_{j}|^{p} < 1)\\
\end{eqnarray}
つまり、やはり通常の最小二乗法を行いつつも、説明変数の影響力がどでかくならないように、説明変数に対して一定の制限を設けた上で、その上で最小二乗法を実行しましょうということです。
正則化の条件を説明変数が満たしつつ、最小二乗法を実行して予測モデルを構築することが主となります。
 

この正則化項を最小二乗法に和で項を足すことによって、通常の最小二乗法の部分の計算結果の値がやたら小さかったら、正則化項がその分いい具合に大きな値を取り、全体の最小二乗値をいい具合にしてくれます。
\(\lambda\)は正則化パラメータと呼んだりします。

この場合の正則化最小二乗法はラグランジュの未定乗数法で解いたりします。
 

今回取り上げるところとしては、上記の「正則化項」になります。
この正則化項が主に3種類あり
正則化の方法として、それぞれここでは以下のような手法について説明をしていこうと思います。

• リッジ回帰(Ledge回帰)
• ロッソ回帰(Lasso回帰)
• Elastic Net

リッジ回帰(Legde回帰)

リッジ回帰とは以下の
正則化項のp=1の場合のことを言います。
リッジ回帰の場合、正則化項は以下のようになります。
\begin{eqnarray}
S
&=& \sum_{i=1}^{n} (y_{i} - X\beta)^{2} + \lambda\sum_{j=1}^{k}|X_{j}| \\
\end{eqnarray}

説明変数が例えば2つあったとします。そうするとリッジ回帰での正則化項は以下のようになります。
\begin{eqnarray}
\lambda\sum_{j=1}^{k}|X_{j}|
&=& \lambda(|X_{1}| + |X_{2}|) < 1\\
\end{eqnarray}

ロッソ回帰(Lasso回帰)

ロッソ回帰とは以下の
正則化項のp=2の場合のことを言います。

ロッソ回帰の場合、正則化項は以下のようになります。
\begin{eqnarray}
S
&=& \sum_{i=1}^{n} (y_{i} - X\beta)^{2} + \lambda\sum_{j=1}^{k}|X_{j}|^{2} \\
\end{eqnarray}

説明変数が例えば2つあったとします。そうするとリッジ回帰での正則化項は以下のようになります。
\begin{eqnarray}
\lambda\sum_{j=1}^{k} X_{j}^{2}
&=& \lambda(X_{1}^{2} + X_{2}^{2}) < 1\\
\end{eqnarray}

正則化項の条件は\(X_{1}^{2} + X_{2}^{2} < 1\)、つまり円になります。
説明変数\(X_{1}, X_{2}\)が中心が(0,0)である円となります。
この半径が\frac{1}{\lambda}の範囲での\(X_{1}, X_{2}\)の組み合わせとなります。