統計学

わかりやすい分散分析

2022年8月20日


分散分析とは、3つ以上のグループ間に有意差があるかないかを分析するための手法になります。
普通の検定では帰無仮説を基準にして対立仮説がこのくらい離れると有意性であったり、2つの群の差を見て有意性あるかなどの判断をします。帰無仮説も1つの群と見做せば、結局2つのグループ間を分析しているに過ぎません。
しかし3つ以上となると通常の検定の方法は使用できなくなります。
 
そこで考える手法として今回扱う分散分析というものがあります。分散分析は手法の名前で、このような3つ以上のグループ間の分析をするのが多重比較といったりします。
 

そして分散分析と言ってるので、主に分散を用いた分析手法になります。

分散分析のパターン

分散分析にはいくつかの種類があります。

・「一元配置分散分析」:1つの因子からなるデータを分析する方法で、因子に含まれる水準間の平均値の差を見ることができます。例えば、ある学校の1組、2組、3組の算数のテストのデータがある場合、一元配置分散分析を用いて、1組、2組、3組の算数のテストの平均点に差があるかどうかを検定できます。
→ A + ε

・「二元配置分散分析」:2つの因子からなるデータを分析する方法で、各因子における水準間の平均値の差を見ることができます。また、2つの要因が組み合わさることで現れる相乗効果の有無の確認もできます。例えば、薬A、B、Cをそれぞれ10mg、20mg投与した場合の効果についてのデータがある場合、二元配置分散分析を用いて薬の種類によって得られる平均値に差があるか、あるいは薬の投与量によって得られる平均値に差があるかどうかを検定できます。
→ 2つの因子を分析するので、その2つの因子が絡み合った場合も考える必要がある。
→ A + B + AB + ε

分散分析

分散分析は3つのグループ間の平均値に差がないかを検証する方法。
なので、A、B、Cグループがあったとして、
以下3つの組み合わせでそれぞれ検定をすれば良いかと思います。
A-B
B-C
C-A

しかしこの検定をすると、それぞれの有意水準を0.05とした時、
これらが同時になると考えると互いに排反だと仮定したとき、
(1-0.05)^3 = 84%になり、第1種の錯誤(有意水準)が想定よりも16%も大きくなってしまいます。
 

1元配置分散分析

1元配置分散分析は、1つのカテゴリで複数の水準間を判定する場合に使います。
例としては、
国ごとの身長のデータがあった時、

1つの要因で、複数の水準間での差を検定します。
上では1つの要因が身長で、水準が各国ということになります。
 

以下に図を置く。
分散分析の検定統計量となるFは、
\begin{eqnarray}
F &=& \frac{層間分散(S_{B})}{層内分散(S_{W})}
\end{eqnarray}
 

総平方和と層内分散と層間分散

全体の分散は、
全てのデータ\(y_{ij}\)と、全てのデータでの平均値を\(\bar{y}\)とすると、
総平方和\(S_{T}\)は、データ→そのグループでの平均→全平均なので、+と-でうまく入れて、
\begin{eqnarray}
S_{T}
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (y_{ij} - \bar{y})^{2} \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} \{y_{ij} - \bar{y_{i}} + \bar{y_{i}}- \bar{y} \}^{2} \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} \{(y_{ij} - \bar{y_{i}}) + (\bar{y_{i}}- \bar{y}) \}^{2} \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} \{(y_{ij} - \bar{y_{i}})^{2} + 2(y_{ij} - \bar{y_{i}})(\bar{y_{i}}- \bar{y}) + (\bar{y_{i}}- \bar{y})^{2} \} \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (y_{ij} - \bar{y_{i}})^{2} + \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} 2(y_{ij} - \bar{y_{i}})(\bar{y_{i}}- \bar{y}) + \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (\bar{y_{i}}- \bar{y})^{2} ・・・①\\
\end{eqnarray}
 

\(①\)の第1項目は、単純な各グループごとの分散の和になります。
\(y_{ij}\)は各データ、そして\(\bar{y_{i}}\)はそのグループに対しての平均になり、それを和で表しているので、層内分散\(S_{W}\)になります。
\begin{eqnarray}
\sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (y_{ij} - \bar{y_{i}})^{2}
&=& \sum_{j=1}^{n_{1}}(y_{1j} - \bar{y_{1}})^{2} + \sum_{j=1}^{n_{2}}(y_{2j} - \bar{y_{2}})^{2} + ・・・ + \sum_{j=1}^{n_{n}}(y_{nj} - \bar{y_{n}})^{2} \\
&=& 水準1内の分散 + 水準2内の分散 + ・・・ + 水準n内の分散
\end{eqnarray}
 

\(①\)の第2項目は0になります。
 

\(①\)の第3項目は、分散の式と見比べて、各水準の平均が確率変数となり、それらの平均(=全平均)を引いているので、これは層間分散\(S_{B}\)になります。
iではなく、先にjで展開すると、サーメーション内の2乗の式にjがないので、
\begin{eqnarray}
\sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (\bar{y_{i}}- \bar{y})^{2}
&=& \sum_{i=1}^{n} n_{i}(\bar{y_{i}}- \bar{y})^{2}
\end{eqnarray}
 

よって、\(①\)の続きは、
\begin{eqnarray}
S_{T}
&=& ① \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{i}} (y_{ij} - \bar{y_{i}})^{2} + \sum_{i=1}^{n} n_{i}(\bar{y_{i}}- \bar{y})^{2} \\
&=& S_{W} + S_{B}
\end{eqnarray}
 

層間分散

層間分散とは、いくつかのグループ「間」の散らばり具合を意味します。あるグループとあるグループの距離が遠ければ遠いほど、相関が薄れていき、独立チックになります。
近しければ近しいほど、どちらのグループのデータかが分かりづらくなります。
ここで問題になるのは、じゃあそのグループ間とは言いつつも、何を基準としてその間を定義するのかですが、基本的には平均値になります。そのグループそれぞれの平均値をとって、その平均値同士の距離がグループ間の距離と定義します。

ではその水準間のばらつきはどう定義するか。
イメージとしては水準間なので、各グループ(水準)の代表値(ここでは平均値)を選び、それを確率変数としてみた場合の分散です。
 

なので、イメージとしては以下になります。
まず各グループの平均値は\(\bar{y}_{i}\)とします。\(i = 1,2,3,...,n\)
これを確率変数と見立てて、これらの平均値を\(\bar{y}\)とします。\(\displaystyle \bar{y} = \frac{1}{n} \sum_{i=1}^{n} \bar{y}_{i}\)
そうすると層間分散は、分散の定義から、
\begin{eqnarray}
S_{B}
&=& \sum_{i=1}^{n} (\bar{y}_{i} - E[\bar{y}])^{2} = \sum_{i=1}^{n} (\bar{y}_{i} - \bar{y} )^{2}
\end{eqnarray}
となります。
 

層内分散

次に層内分散ですが、これは各グループの中のデータの分散具合になります。
層内分散とは、層つまりグループ「内」でのデータの散らばり具合を意味します。いわゆる普通の分散のイメージです。
なので上と同様に今度は層の中の平均値を求めて、その平均値から各データの距離が分散になりますので、上と同じように分散を求めてみましょう!
まず各グループの平均値は上で定義したように、\(\bar{y}_{i}\)とします。\(i = 1,2,3,...,n\)
ここで、あるグループここではi=1にします。でこのグループでの分散を求めると、
\(\displaystyle \sum_{j=1}^{n_{1}} (\bar{y}_{1j} - \bar{y}_{1})^{2} \)
となります。
 

層内分散なので、各グループでの層内分散の和を求めると、
\begin{eqnarray}
S_{W}
&=& \sum_{i=1}^{n_{1}} (y_{1j} - \bar{y}_{1})^{2} + \sum_{j=1}^{n_{2}} (y_{2j} - \bar{y}_{2})^{2} +...+ \sum_{j=1}^{n_{n_{n}}} (y_{nj} - \bar{y}_{n})^{2} \\
&=& \sum_{i=1}^{n} \sum_{j=1}^{n_{j}} (y_{ij} - \bar{y}_{i})^{2} \\
\end{eqnarray}

(※ 判別分析での層内分散と層間分散と同じ考えなので一緒に覚えておくと良いです!)
 

検定統計量\(F\)について考察する

改めて、分散分析の検定統計量となるFは、
\begin{eqnarray}
F &=& \frac{層間分散(S_{B})}{層内分散(S_{W})}
\end{eqnarray}
です。
ここでは、この検定統計量について少し考察してみます。
 


見た目、層間分散は同じに見えるので一定とした上で、層内分散は見た目で違うので、検定統計量の分母の違いで見ると、左の場合は検定統計量\(F\)は小さくなり、右の場合は大きくなります。
となると、右の場合は棄却されやすくなり、有意性が認められるということになります。

そんな層間分散と層内分散を用いて定義したこの検定統計量が大きくなると、\(F\)分布の端の方になるので、棄却域に行きそうということになります。
 

では端のほうに行くイメージはどういう時でしょうか。
上の分母が分子に比べて相対的に大きくなる場合ですが、分子が大きくなると、
間の距離が大きくなるので、グループ間が離れているということになり、そして分母が小さい場合は、
その1つ1つのグループ内でのデータの散らばりが小さいのでまとまってるイメージ。
イメージとしては以下のような感じですね。

 

となるとF値が大きいほど、グループ間での共通部分というか重なりの部分がなくなっていくので、流石にこれは平均一緒とは言えないよねってことで棄却ができるということになります。
 

検定統計量

\begin{eqnarray}
F
&=& \frac{S_{B}}{S_{W}} \\
&=& \frac{ \sum_{i=1}^{n} (\bar{y}_{i} - \bar{y} )^{2}}{\sum_{i=1}^{n} \sum_{j=1}^{n_{j}} (y_{ij} - \bar{y}_{i})^{2}} \\
\end{eqnarray}

そして層間分散の自由度は、k-1(kはグループ数)
層内分散の自由度は、n-k(kはグループ数)
有意水準を\(\alpha\)
よって、
\begin{eqnarray}
F
&=& \frac{\displaystyle \frac{S_{B}}{k-1} }{\displaystyle \frac{S_{W}}{n-k} } \\
&\sim& F_{\alpha}(k-1, n-k)
\end{eqnarray}

 

以下4つの正規分布から得たデータがあります。
それぞれの正規分布の平均値は以下の表のとおりで、それらの分布から採れたデータは\(y_{ij}\)とします。
この時、それぞれのクラスの合計値やデータ数、平均値は計算をして以下の通りとなります。
 

この時、それぞれのクラスで有意性があるかどうかをテストしてみましょう!
まずそもそも、この正規分布から得られた\(y_{ij}\)は、\(y_{ij} = \mu_{i} + \epsilon_{ij}\)と表現できます。
要は各正規分布の平均から、誤差をたすことでデータが生成されるといったイメージになります。
 

ここで考えたいのが、各水準の平均値\(\mu_{i}\)に差がないかどうかの検証です。
そのため、帰無仮説では、\(\mu_{1} = \mu_{2} = \mu_{3} = \mu_{4}\)と仮定して、
対立は実際の上記の表になります。
各水準の平均値に差がないのであれば、帰無仮説を採択して、有意な差があるのであれば帰無仮説を棄却(対立仮説を採択)ということになります。

 

これが分散分析の基本方針になります。
 

さまざまな分散分析

さまざまな要因によって、分散分析にも種類があります。
主には以下の3つがあります。

  • 一元分散分析
  • 二元分散分析
  • 乱塊法

これらの違いとしては要因の数もありますが、以下のような要因にも種類があり、その組み合わせによっても変わります。

  • 母数因子とは、因子水準を指定できるもの。
  • 変量因子とは、因子水準を指定できないもの。

 

  • 一元分散分析は、母数因子が1つ。
  • 二元分散分析は、母数因子が2つ。
  • 乱塊法は、母数因子が1つ+変量因子が1つ。

です。

1つずつ説明していきます。
 

一元分散分析

\(y_{ij} = \mu + \alpha_{i} + \epsilon_{ij}\)

全てのデータ\(y_{ij}\)は、データの全平均\(\mu\)を基準として、各グループ平均と全平均の差分\(\alpha_{i}\)と各データごとに発生する誤差\(\epsilon_{ij}\)を加えた値になります。
なので、各グループごとに有意性がないとする場合、この\(\alpha_{i}\)の値が全て0であれば、全く有意性がないということになります。
\(y_{ij} = \mu + \epsilon_{ij}\)となり、全てのデータは全平均からの誤差の影響によるものと表現ができる。
(有意性があれば核水準の影響を受けているということになるので、上の式の通り、\(y_{ij} = \mu + \alpha_{i} + \epsilon_{ij}\)となる。)
 


 

二元分散分析

以下のような表になります。
例としては、以下のように要因が2つで、それぞれが水準が複数ある感じです。

要因が2つでそれぞれ複数の水準がある場合です。
寝ている人で、その日が晴れの場合の集中力、
寝ている人で、その日が曇りの場合の集中力、、、
みたいな感じです。

 
上記のように2つの要因で水準があるので、母数因子2つの分析になります。
 

各データ\(y_{ij}\)は母数因子\(\alpha\)と\(\beta\)として、さらに\(\alpha\)と\(\beta\)の交互作用を\(\gamma_{ij}\)とした時、
\(y_{ij} = \mu + \alpha_{i} + \beta_{j} + \gamma_{ij} + \epsilon_{ij}\)

 

まず、普通にそれぞれの要因の水準から影響を受けるので、\(\alpha_{i}\)と\(\beta_{j}\)を足します。
そして2つの要因がある場合、この2つが重なることで大袈裟ですが何かしらの化学反応で、影響を別に受ける可能性があります。そのため交互作用というものを考える必要があります。これを\(\gamma_{ij}\)として足します。
 

この違いはというと、
1つのみのデータの場合、そのデータがどういった要因によって生成されたかがわからない。
しかし複数のデータがある場合、そのデータを解析することで、A要因の影響なのか、B要因の影響なのか、さらに言えばAとBの組み合わせによって生まれた別の要因なのか(これを交互作用と言います)。
なので、二元分散分析では、この交互作用も考える必要があり、それが\(\gamma_{ij}\)になります。
どの要因なのかを特定するために、複数回試行します。
 

 

乱塊法

2つの要因があるので、\(\alpha_{i}(i=1,2,...,n)\)と\(\beta_{j}(j=1,2,...,m)\)とすると、
\(y_{ij} = \mu + \alpha_{i} + \beta_{j} + \epsilon_{ij}\)
なので有意性がAとBでないのであれば、
\(\alpha_{i}\)の値が全て0 かつ \(\beta_{j}\)の値が全て0
であれば、\(y_{ij} = \mu + \epsilon_{ij}\)となり、有意性がないということになります。
 
乱塊法とは、英訳すると「randomized block design」と呼ばれるように、ランダムなブロック、つまり実験の順序をランダム化するというものです。

 
乱塊法とは、変量因子という因子も取り入れて分散分析を行います。
変量因子の変動をとらえた上で、解析の精度を上げる手法です。

 

例えば道路の摩擦によって速度に影響も出たりしますが、実際摩擦がどれくらいとかの計測はできず、分析に入れることなどはできません。
つまり複数の水準に分けることなどができません。
 

なので、1つの要因に対して裏でこういった事情で、いくつかの道路の場所で計測しているのであれば、
それぞれの道路で要因の水準ごとに計測をしましょうよ!というのが乱塊法になります。
晴れと曇り、雨で道路の摩擦は全然違います。
なのに、とにかくデータを取るために、晴れの日に多く計測データをとって、曇りでは少なくデータをとって、雨は1件データとってとなる時に、

身長だとDNAなどそういった要因でも影響受けますが、その場合DNAの変動はとることはできません?
 

でも、これって2つの要因ということにはならないのか?
つまり2次元分散分析でできないのか?
となりそうですが、上でも話した通り、変量因子は水準指定ができないものということなので、
2次元での分散分析ができないということになります。

と言いつつも、できたりします。

 

-統計学
-

© 2022 Yosshi Blog Powered by AFFINGER5