Yosshi Labo.

統計検定準1級に合格したお話

yosshi — Mon, 30 Jun 2025 11:24:52 +0000

あああああああああ

Lookerの削除と無効化について

yosshi — Tue, 18 Jun 2024 04:37:38 +0000

みなさん、LookerというBIツールをご存知ですか？
このLookerはGoogleが提供している高価なBIツールのことです。
巷だったりクライアントは前身がデータポータルやデータスタジオといったLooker Studioとよく間違えていますが、
Looker StudioもGoogleのBIツールでこちらは無償になります。（一部Pro版は有償での提供があったりします）

そんなLookerについては今回は、Lookerの権限の削除と無効化の違いについてまとめていこうと思います！

Lookerの削除と無効化について確認してみる。
Lookerでは権限を削除する方法と、無効化する方法の2パターンがあります。
Lookerを運用していく上で、開発者権限などはデフォルトでライセンス購入すると2名などと少ないので、誰につけるかなどが変わってきます。
さらにStandard User権限は10名で、それ以上招待はできず、誰かがすでにLookなどを作成してしまっている場合もあるとき、そのユーザーが作成したコンテンツを削除しないようにしたい。でもそのユーザーをLookerから削除したい。。1名空きを作りたい。
そんな時にどうすれば良いか、対策を自分なりに整理してみたので、ここで記載しておこうと思います。

問題提起

Lookerを運用していくにあたって問題になるのが、ユーザーの削除かなと思います。
デフォルトではStandard Userは10名、Developer Userは2名がライセンス契約についていて、12名までしか触ることができません。
なのでこの12名でやりくりをするわけですが、結構ユーザー数としては少ないです。
（Lookerはデータの民主化と言っている割には、12名で民主化しろよーって言われても無茶な話。）

この10名が作成したLookなどのコンテンツは削除したときにどうなるのか？不安になりますよね。

▼ Lookerの権限、無効化、削除などの話。
リンク

検証はCloud IdentityとLooker本番環境で。
作成の話は必要であるかなs作成の。

Cloud Identityを通じてLooker権限付与
↓
ユーザーは普通にLook等を作成する。そして共有フォルダに格納を行う。
（これは必須事項。
理由1：他のメンバーがアクセスできるようにするため。
理由2：そのユーザーがいなくなった時に見れなくなるのはまずいので、共有フォルダに保存）

↓
・スケジュール配信や単発の配信の設定の話。
単発の配信であれば、その一回だけなのでユーザーが削除されても問題ない。

スケジュール配信
コンテンツ作成者によるスケジュール設定がある
そのコンテンツ作成者が削除されたら、スケジュール配信も消える
そのコンテンツ作成者が無効化されたら、スケジュール配信は引き続き実行される

コンテンツ作成者以外によるスケジュール設定がある

そのコンテンツ作成者が削除されたら、スケジュール配信は引き続き実行される
そのコンテンツ作成者が無効化されたら、スケジュール配信は引き続き実行される
コンテンツ作成者以外の人が削除されたら、スケジュール配信も消える
コンテンツ作成者以外の人が無効化されたら、スケジュール配信は引き続き実行される

※ Adminはスケジュールを削除することができる？ので、コンテンツ作成したユーザーが削除されてスケジュール配信され続けてる場合は、そこから削除を行う。Adminが。

まとめ

なので、まとめるとLookerを運用していくにあたって、
みんなが作成したLookなどのコンテンツは共有フォルダに全て格納する。
は必須かなと思います。

わかりやすいARモデルとMAモデル

yosshi — Fri, 10 May 2024 14:48:04 +0000

そもそもの目的はこのy_{t}を予測することで、\alphaを求めることです。
これにより時系列データがどんなモデルによって生成されているのかを掴むことで、今後の数値の予測ができるようになるわけです。
そんな時系列データとして有名なARモデルやMAモデルなどをここで扱っていこうと思います！

ARモデル

【イメージ】
これは単純で、
t期のデータはt-1期のデータによってもたらされていると想定する。
これは直感的にイメージ湧きますよね。
株価のデータがあったとして、今10000です。
そして次の期が100になるってほぼほぼないですよね。つまり10000を起点とした上で少し前後するようなイメージです。
つまりこれは前のデータに引っ張られて次の期のデータが生成されるとするメカニズムで、
以下のような式を考えます。

ココがポイント

【ARモデル】
ARモデルは、t-1期の実データに相関して影響を受けてt期のデータが生成されていると想定するモデル。
\begin{eqnarray}
y_{t} &=& c + \alpha_{1}y_{t-1} + U_{t}
\end{eqnarray}

平均値を求める

そもそも定常とは各実測値の平均が同じであることです。
なので、上のARモデルに対して、定常性を持っていると仮定する。
つまり平均値が同じ\(\mu\)であると仮定して、計算をしてみると、

\begin{eqnarray}
y_{t} &=& \alpha_{1}y_{t-1} + U_{t} \\
E[y_{t}] &=& E[\alpha_{1}y_{t-1} + U_{t}] \\
E[y_{t}] &=& \alpha_{1}E[y_{t-1}] + E[U_{t}] \\
\mu &=& \alpha_{1}\mu + 0 \\
\mu(1-\alpha_{1}) &=& 0 \\
\end{eqnarray}

さらに、2つ目の影響までを考えてみると、
\begin{eqnarray}
y_{t} &=& \alpha_{1}y_{t-1} + U_{t} \\
y_{t} &=& \alpha_{1}(\alpha_{2}y_{t-2} + U_{t-1}) + U_{t} \\
y_{t} &=& \alpha_{1}\alpha_{2}y_{t-2} + \alpha_{1}U_{t-1} + U_{t} \\
\end{eqnarray}
となるので、
\begin{eqnarray}
E[y_{t}] &=& E[\alpha_{1}\alpha_{2}y_{t-2} + \alpha_{1}U_{t-1} + U_{t}] \\
E[y_{t}] &=& \alpha_{1}\alpha_{2}E[y_{t-2}] + \alpha_{1}E[U_{t-1}] + E[U_{t}] \\
\end{eqnarray}

MAモデル

ノイズによって生成されていると考えるモデルがMAモデルです。
\begin{eqnarray}
y_{t} &=& \mu + U_{t} + \theta_{1}U_{t-1}
\end{eqnarray}
つまり、\(y\)の値は大体な平均値があった上で、その\(t\)期のデータにノイズが入って、さらには多少前の期のノイズの影響を受けていると想定した式となる。

【イメージ】
\(y_{t} = \mu + U_{t}\)でいいじゃんとも思いますが、
だけだと、そもそも時系列データが\(t-1\)期や\(t-2\)期のデータの影響受けてないってことになるので、
そうなると独立になるので、後ろに期はずれているので多少の相関があると仮定して、\(\theta_{1}U_{t-1}\)を付加的につけている。

そうなるとそもそもの\(y\)の\(t\)期や\(t-1\)期のデータが独立になってしまうので、そうなると時系列の分析がそもそもできない話になるので、
もちろん過去のデータを予測するためには階差数列を作らないといけないので、このような式になる。

ココがポイント

【MAモデル】
MAモデルは、時系列データの平均値を\(\mu\)として、それを基準にノイズを積み重ねていくことでデータが生成されると想定するモデルのことで、以下のように表せる。
\begin{eqnarray}
y_{t} &=& \mu + U_{t} + \theta_{1}U_{t-1}
\end{eqnarray}

平均値を求める

\begin{eqnarray}
E[y_{t}] &=& E[\mu + U_{t} + \theta_{1}U_{t-1}] \\
E[y_{t}] &=& \mu + E[U_{t}] + \theta_{1}E[U_{t-1}] \\
E[y_{t}] &=& \mu \\
\end{eqnarray}
となるので、どんな\(t\)においても平均値は一定となり定常となります。

ここで分散を求めてみると、
\begin{eqnarray}
V(y_{t}) &=& E[(y_{t} – \mu)^{2}] \\
&=& E[(U_{t} + \theta_{1}U_{t-1})^{2}] \\
&=& E[U_{t}^{2} + 2\theta_{1}U_{t-1}U_{t} + \theta_{1}U_{t-1}^{2}] \\
&=& E[U_{t}^{2}] + 2\theta_{1}E[U_{t-1}U_{t}] + \theta_{1}^{2}E[U_{t-1}^{2}]・・・① \\
\end{eqnarray}
ここでノイズについて分散公式を用いて、
\begin{eqnarray}
V(U_{t}) &=& E[U_{t}^{2}] – (E[U_{t}])^{2} \\
\sigma^{2} &=& E[U_{t}^{2}] – 0 \\
\sigma^{2} &=& E[U_{t}^{2}] \\
\end{eqnarray}
となり、どんな\(t\)でも成立するので、①から
\begin{eqnarray}
V(y_{t}) &=& \sigma^{2} + 2\theta_{1}E[U_{t-1}U_{t}] + \theta_{1}^{2}\sigma^{2}・・・① \\
&=& \sigma^{2}(1+\theta_{1}^{2}) + 2\theta_{1}E[U_{t-1}U_{t}] ・・・① \\
\end{eqnarray}

回帰分析と分散分析の関係性について

yosshi — Mon, 29 Apr 2024 16:09:38 +0000

回帰分析と分散分析の関係はとても近いです！

回帰分析ではあるデータ（目的変数）が取れて、それに対して別の変数（説明変数）でどのくらいの影響があるかを示すものです。
式で表すと、\(y = \beta x + \epsilon\)と表せます。
そして、これに対して、
分散分析でもあるデータが取れて、それに対して因子があり、その因子によってデータが生成されているものと想定します。
つまり、\(y = \mu + \alpha_{1} + \epsilon\)と表せます。

2つの式を見てもなんだか似てますよね！

これら2つは、
あるデータがあって、そのデータは何が要因となってそのデータ（値）が生成されているのか、そしてどんな影響によって説明される値なのか、
を分析するものです。

ここではそんな、回帰分析と分散分析の関係性について探っていこうと思います。

回帰分析での分散分析表

要因	式	自由度	説明
回帰変動	\( \displaystyle \sum_{i=1}^{n} (\hat{y_{i}}-\bar{y})^{2} \)	\(p\)	説明変数による数値の変動 → 説明変数によって説明ができる
誤差変動	\( \displaystyle \sum_{i=1}^{n} (y_{i} – \hat{y_{i}})^{2} \)	\(n-p-1\)	ホワイトノイズ（誤差）による数値の変動
全体変動	\( \displaystyle \sum_{i=1}^{n} (y_{i}-\bar{y})^{2} \)	\(n\)	平均値と取れたデータの変動

回帰変動はいわゆる、説明変数による要因を想定した変動です。

ここで回帰分析でのF検定をしてみます。そのためにはF検定統計量をまず導出します。

回帰分析の結果として、\(\epsilon_{i} = y_{i} – \hat{y_{i}} \)であるから、

\begin{eqnarray}
\epsilon_{i} &=& y_{i} – \hat{y_{i}} \\
y_{i} &=& \hat{y_{i}} + \epsilon_{i} \\
y_{i} – \bar{y} &=& (\hat{y_{i}} – \bar{y}) + \epsilon_{i} \\
(y_{i} – \bar{y})^{2} &=& \{(\hat{y_{i}} – \bar{y}) + \epsilon_{i}\}^{2} \\
(y_{i} – \bar{y})^{2} &=& (\hat{y_{i}} – \bar{y})^{2} + (\hat{y_{i}} – \bar{y})\epsilon_{i} + \epsilon_{i}^{2} \\
\sum_{i=1}^{n}(y_{i} – \bar{y})^{2} &=& \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2} + \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})\epsilon_{i} + \sum_{i=1}^{n}\epsilon_{i}^{2} ・・・① \\
\sum_{i=1}^{n}(y_{i} – \bar{y})^{2} &=& \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2} + \sum_{i=1}^{n}\epsilon_{i}^{2} \\
\sum_{i=1}^{n}(y_{i} – \bar{y})^{2} &=& \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2} + \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2} ・・・② \\
(全体変動 &=& 回帰変動 + 誤差変動) \\
(全体変動の自由度 &=& 回帰変動の自由度 + 誤差変動の自由度) \\
(n &=& (p-1) + (n-(p-1))) \\
\end{eqnarray}
と分解することができます。

ちなみにこの\(②\)式は重要で、決定係数やこの後扱うF検定統計量の考えがあったりします。

そして、①の部分ですが、右辺の第2項である、以下の部分が0になっています。
\begin{eqnarray}
\sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})\epsilon_{i} + \sum_{i=1}^{n}\epsilon_{i}^{2} &=& 0 \\
\end{eqnarray}
これの式の意味としては、「予測値とデータの平均値の差」と「残差」の相関は0ということを言っています。

決定係数

決定係数\(R^{2}\)は、どのくらい説明変数によって説明されているかなので、イメージ回帰変動/全体変動と想像できると思います。なので、回帰変動/全体変動を\(①\)から導出すると、
\(①\)に対して、\(\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}\)で割ると、
\begin{eqnarray}
1 &=& \frac{\displaystyle \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}} + \frac{\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}} \\
1 – \frac{\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}} &=& \frac{\displaystyle \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}} \\
\end{eqnarray}
となります。
右辺が決定係数\(R^{2}\)になり、決定係数は以下で表されます。

【決定係数\(R^{2}\)】
\begin{eqnarray}
R^{2} = \frac{\displaystyle \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}} = 1 – \frac{\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}}
\end{eqnarray}

このように2通りの表し方があることも覚えておくのが良いでしょう！

そして、なぜ決定係数って\(R\)なんでしょうか。
実は、決定係数は相関係数の2乗です。
つまり相関係数は一般的に\(R\)なので、決定係数は\(R^{2}\)となります。
ただし、回帰曲線ではなく回帰直線の場合に限ります。

F検定統計量

回帰分析でのF検定は、「各説明変数が0でないかどうか」を検定します。
つまり、回帰係数を\(\beta_{i}\)としたとき、
\(\beta_{1} = \beta_{2} = \cdot\cdot\cdot = \beta_{l} = 0\)
ではないか？ということです。
通常仮説検定では2つの群の平均値を検定します。3つ以上の群があった場合、2つの群を3つの組み合わせにしてそれぞれ検定してというやり方が思いつきそうですが、それではダメです。
群ではないが、今回のように複数の回帰係数（説明変数）を検定する場合はF検定でないといけません。
これが帰無仮説でこれを弾く必要があります。もしこれが採択されると、全て回帰係数が0つまり説明変数の影響は皆無で、得られた目的変数のデータは全てホワイトノイズによって生成されたものと判定されてしまいます。

F検定統計量\(F\)は、
\begin{eqnarray}
F &=& \frac{回帰変動}{誤差変動}
\end{eqnarray}
となるので、そのような形にするために、\(①\)を\(\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}\)で割ると、

\begin{eqnarray}
\frac{\displaystyle \sum_{i=1}^{n}(y_{i} – \bar{y})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}} &=& \frac{\displaystyle \sum_{i=1}^{n}(\hat{y_{i}} – \bar{y})^{2}}{\displaystyle \sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^{2}} + 1 \\
\end{eqnarray}

誤差による変動に対して、回帰変動つまり説明変数によって説明できる部分が多ければ回帰分析としては良いので、上記検定統計量を考えたときに値が大きければ良い。（誤差に対して回帰の比率が大きいほどよい）

分散分析での分散分析表

要因	式	自由度	説明
因子\(A\)(\(S_{A}\))	\( \displaystyle \sum_{i=1}^{a} \sum_{j=1}^{n} (\bar{y_{A_{i}}}-\bar{y})^{2}= n\sum_{i=1}^{a}(\bar{y_{A_{j}}}-\bar{y})^{2} \)	\(a-1\)	因子\(A\)による数値の変動 → 説明変数によって説明ができる
誤差変動(\(S_{E}\))	\( \displaystyle \sum_{i=1}^{a} \sum_{j=1}^{n} (\bar{y_{ij}}-\bar{y_{A_{i}}})^{2} \)	\(an-1-(a-1) = a(n-1) \)	ホワイトノイズ（誤差）による数値の変動
全体変動(\(S_{T}\))	\( \displaystyle \sum_{i=1}^{a} \sum_{j=1}^{n} (y_{ij}-\bar{y})^{2} \)	\(an-1\)	平均値と取れたデータの変動

因子\(A\)は、因子\(A\)による要因を想定した変動です。

1つ目の因子の自由度では、平均値と各水準の平均値を使って計算しています。
平均値は固定であるとすると、水準は今a個あり、1つずつ計算に使っていくと最終的に1つは固定で平均値が決まります。
なので、自由度はa-1個となります。

全体変動も同様で、各n個のデータと、平均値があり、平均値はこのn個のデータを用いて算出された値になります。
n-1個までは自由に値を取れるけど、平均値が定まっている以上、最後の1つのデータは自由な値を取ることはできず、計算から決まります。
なので、全体変動では自由度はn-1個となります。

最後に、誤差変動の自由度については、
全体変動 = 因子変動 + 誤差変動ということからも、
全体変動の自由度 = 因子変動の自由度 + 誤差変動の自由度から、
誤差変動の自由度 = 全体変動の自由度 – 因子変動の自由度 = n-1 – (a-1) = n-aとなります。

F検定統計量

分散分析でのF検定は、「因子の各水準が0でないかどうか」を検定します。
つまり、係数を\(\alpha_{i}\)としたとき、
\(\alpha_{1} = \alpha_{2} = \cdot\cdot\cdot = \alpha_{l} = 0\)
ではないか？ということです。
これが帰無仮説でこれを弾く必要があります。もしこれが採択されると、全て回帰係数が0つまり説明変数の影響は皆無で、得られた目的変数のデータは全てホワイトノイズによって生成されたものと判定されてしまいます。
全くもって、回帰分析でのF検定と同じですね！

回帰分析と同様に、分散分析もF検定を考えることができ、F検定統計量は\(F = \frac{回帰変動}{誤差変動}\)になります。

そして、誤差は回帰分析、分散分析ともに、\(N(0,\sigma^{2}\)を仮定してます。

ココがポイント

回帰分析、分散分析ともに、得られたデータがホワイトノイズによってではなく、どのくらい説明変数・因子によって説明されたかをF検定によって分析する。
そしてそのF検定統計量はともに、
\begin{eqnarray}
F &=& \frac{回帰変動/自由度}{誤差変動/自由度}
\end{eqnarray}

回帰分析と分散分析では両方ともF検定というものがありました。
それぞれのF検定での帰無仮説を見てみると、
回帰分析では、回帰係数を\(\beta_{i}\)としたとき、
\(H_{0} : \beta_{1} = \beta_{1} = \beta_{2} = \cdot\cdot\cdot = \beta_{k} = 0\)であり、
分散分析では、各水準の平均値を\(\mu_{i}\)としたとき、
\(H_{0} : \mu_{1} = \mu_{1} = \mu_{2} = \cdot\cdot\cdot = \mu_{l} = 0\)であり、
それぞれ説明変数や平均値が全て0であるということを検定している。

分散分析での変動値は因子の各水準のことで、
回帰分析での変動値は説明変数のことです。

回帰分析では、説明変数の影響度合いを重み付けした説明変数の和に、ノイズを加味したデータを表し、
分散分析では、各水準の平均的な値にノイズを加味したデータを表す。
このように、取れたデータに対してそれぞれ変動するものがあり、

確率過程とブラウン運動

yosshi — Sat, 20 Apr 2024 17:59:59 +0000

\(N(\mu,\sigma^{2})\)

今回は、時系列データや金融工学などでよく用いられるブラウン運動という概念についてご紹介します！
ブラウン運動は統計学的にも応用的な分野で初学者にとっては難しい内容になります。

さらに今までは確率変数という1つの値を取るようなイメージで扱ってきましたが、
ここではパスという新しい概念を使って運動を考えていきます。
このパス、英語で道という意味で、このパスが今回は確率変数になります。

ちょっと違った角度で確率変数としてとらえたり、より世の中の時系列データをどう捉えるかが大事になってくるので、ここで学んでいきましょう！

ブラウン運動とは

まずは早速ブラウン運動の定義です。

ブラウン運動の定義

（統計学ワークブックから参照）

【独立定常増分】
確率過程\(X=(X_{t})_{t>0}\)が以下の(1),(2)を満たすとする。
(1) 任意の\(0 = t_{0} < t_{1} < \cdot \cdot \cdot < t_{n-1} < t_{n}\)に対して、\(X_{t_{0}}, X_{t_{1}} - X_{t_{0}}, X_{t_{2}} - X_{t_{1}}, ..., X_{t_{n}} - X_{t_{n-1}}\)は互いに独立である。（独立増分性） (2) 任意の\(0 < y < t+h\)に対して、\(X_{t+h} - X_{t}\)の分布は\(X_{h} - X_{0}\)の分布と同一である。（定常増分性）

【ブラウン運動】
\(B_{0} = 0\)なる確率過程\(B=(B_{t})_{t>0}\)が以下の(1)〜(3)の性質を満たすとき、\(B\)をブラウン運動という。
(1) \(B\)は独立定常増分過程である
(2) 各\(t>0\)に対して、（周辺分布）\(B_{t} \sim N(\mu t, \sigma^{2}t)\)
(3) \(B\)のパスは連続である。

【標準ブラウン運動】
(2)において、\(\mu = 0, \sigma^{2} = 1\)となるものを標準ブラウン運動という。

\begin{eqnarray}
Z_{k}
&=& B_{\Delta k} – B_{\Delta k-1} \\
&\sim& N(\mu \Delta k, \sigma^{2} \Delta k) – N(\mu\Delta(k-1), \sigma^{2}\Delta(k-1)) \\
&\sim& N(\mu \Delta(k-(k-1)), \sigma^{2} \Delta(k-(k-1))) \\
&\sim& N(\mu\Delta, \sigma^{2}\Delta) \\
\end{eqnarray}

これは、正規分布となる確率変数
\(f(z_{k}) = \displaystyle \frac{1}{\sqrt{2\pi}\sigma^{2}\Delta} \exp\Bigr\{ – \frac{(z_{k}-\mu\Delta)^{2}}{2\sigma^{2}\Delta} \Bigr\}\)

この\(\delta\)が0に近づいていけば、どんどんこの感覚は狭くなっていくので、よりパスが滑らかなものになっていきます。
この時パスが今回は確率変数になり、

定義をよりイメージ的に

上の定義、ちょっとわからないですよね。。
なので、図を使って噛み砕いてみましょう！

ちょっとここで、上の定義
各点にて、\(N(\mu t, \sigma^{2}t)\)で次のt+1時点の値がサンプリングされます。
つまり各t時点において、正規分布によって遷移していくのがブラウン運動になり、その正規分布が標準正規分布である場合、標準ブラウン運動ということになります。
（通常正規分布は上に凸のグラフで見てるので、ちょっと違和感があると思いますが、このように横にどんどんデータが繋がっていきます。）

各点からは、\(N(\mu, \sigma^{2})\)で次の点のサンプリングが行われます。（行われるというか想定）
例として、t時点からt+1時点へのパスは、
\begin{eqnarray}
Z_{t}
&=& B_{t+1}-B_{t} \\
&\sim& N(\mu(t+1), \sigma^{2}(t+1)) – N(\mu t, \sigma^{2}t) \\
&\sim& N(\mu((t+1)-t), \sigma^{2}((t+1)-t)) \\
&\sim& N(\mu, \sigma^{2}) \\
\end{eqnarray}
となり、各\(t\)時点において、\(N(\mu, \sigma^{2})\)によってサンプリングされるということになります。

まず、\(t\)時において\(t+1\)時の値を平均として\(N(\mu, \sigma^{2})\)でサンプリングし、\(t+1\)期の値の\(B_{t+1}\)を取得します。
次に\(B_{t+1}\)の値を平均と見て、\(N(\mu, \sigma^{2})\)で\(t+2\)期の値の\(B_{t+2}\)を取得します。
このようにして繰り返しサンプリングをして今の時系列データが生成されるというメカニズムを仮定しています。

そして取れたデータを繋いでいくと以下のようにパスが出来上がります。これが運動で、今回のブラウン運動では確率変数になります。

このパスが確率変数になるということは、確率変数があるので確率密度関数を持つということにもなります。
そうすると、この確率変数が取る分布を考えて、どんな関数になるのか、パラメータを求める必要があります。
となると、どうやってパラメータを求めるのか。。
そうです！確率密度関数のパラメータを求めるには、点推定である「最尤法」を用います！

最尤法については、以下にて扱っているのでぜひご覧ください！

わかりやすい最尤法

より\(\delta\)を0に近づけていけば、より細かな間隔でのパスを作ることができます。

最尤法によるパラメータ推定

よって、尤度は、
\begin{eqnarray}
L
&=& f(z_{1}) \cdot f(z_{2}) \cdot f(z_{3}) \cdot \cdot \cdot f(z_{n}) \\
&=& f(z_{1}) \cdot f(z_{2}) \cdot f(z_{3}) \cdot \cdot \cdot f(z_{n}) \\
\end{eqnarray}

\begin{eqnarray}
L
&=& f(z_{1}) \cdot f(z_{2}) \cdot f(z_{3}) \cdot \cdot \cdot f(z_{n}) \\
&=& f(z_{1}) \cdot f(z_{2}) \cdot f(z_{3}) \cdot \cdot \cdot f(z_{n}) \\
\end{eqnarray}

統計学学ぶ上で線形代数これだけ！

yosshi — Mon, 15 Apr 2024 03:44:41 +0000

統計学を学びたいけど、やたら数式ばっかでわからない！！
計算どうやってるのか全然わからない！
ベクトルや行列、微分がよくわからず、勉強挫折してしまう、、
など統計学はとにかく数式が多いです。
統計ってちょっと平均値や中央値など一般的な指標を扱うくらいであれば全然必要ないですが、より深い統計学を学ぼうとすると、数学を学んでいないと理解することすらできません。

なので、今回はそんな統計学を学んでいく上で、最低限これを知っていれば統計学の門を叩くことできるよ！というのを紹介してみようと思います！
初めての人は心して読んでいただき、すでに知ってるよーって方は復習がてら読んでもらえるとありがたいです！

ベクトルと行列

ベクトルの計算と内積

（どこでも）
→ ベクトルの内積は頻繁に出てくるので注意。
さらにベクトルの掛け方によって、結果がスカラー値（定数）になるか、行列になるか変わるので要注意。

そして行列の計算を行うときは、上の計算がベースとなります。
\begin{eqnarray}
(a, b)
\begin{pmatrix}
c \\
d \\
\end{pmatrix}
&=& ac+bd \\
\begin{pmatrix}
a \\
b \\
\end{pmatrix}
(c, d)
&=&
(ac, bd)
\end{eqnarray}
になります。

行列の計算

\begin{eqnarray}
\begin{pmatrix}
a & b \\
c & d \\
\end{pmatrix}
\begin{pmatrix}
a’ & b’ \\
c’ & d’ \\
\end{pmatrix}
&=&
\begin{pmatrix}
aa’+bc’ & ab’+bd’ \\
ca’+dc’ & cb’+dd’ \\
\end{pmatrix}
\end{eqnarray}

大事な考えとして、行列の各要素はベクトルになっているということです。これを知っておけば、計算も分解して考えられるようになります。

行列式の計算（2次元正方行列）

表記としては、\(A\)の行列式は\(|A|\)や\(det(A)\)と表記します。
主に、多変量正規分布を求める際に出てきたりします。
\begin{eqnarray}
|A| = det(A) = ad-bc \\
\end{eqnarray}

逆行列について

逆行列を計算するのは多変量正規分布や、この後扱う正規方程式などで使用したりします。

\begin{eqnarray}
A^{-1}
&=& \frac{1}{|A|}
\begin{pmatrix}
d & -b \\
-c & a \\
\end{pmatrix}
\end{eqnarray}

\begin{eqnarray}
AA^{-1} = I ・・・① \\
AA^{T} = I ・・・②
\end{eqnarray}
などの正則行列（逆行列を持つ）、対象行列＆転置行列による単位行列
などここをわかっておけば、正規分布や最小二乗法のベクトル・行列計算ができるようになります。

行列の種類

→ 正方行列、正則行列、対称行列、転置行列、単位行列の5つ。これらの性質を理解する。
正方行列：n次元(n×n)行列のこと。
単位行列：n次元(n×n)行列で、(k,k)では全て値は1で、(k,l)(k≠l)では全て値が0となる行列のこと。正方行列と単位行列をかけると必ず同じ正方行列になります。
正則行列：AB=BA=Iを満たすBのこと？逆行列を持つ。これにより、正則行列と正則行列の逆行列は単位行列になります。
対称行列：列と行が対称になっている。
転置行列：これはどのものでも転置したら転置行列になります。正方行列でも正則行列でも対称行列でも。ただ1つ大事なのは、対称行列と転置した転置行列を掛け合わせると単位行列になります。これ大事です。

種類	説明
正方行列	\(n\)次元(\(n\)×\(n\))行列のこと。
単位行列	\(n\)次元(\(n\)×\(n\))行列で、(\(k\),\(k\))では全て値は1で、(\(k\),\(l\))(ただし\(k\)≠\(l\))では全て値が0となる行列のこと。正方行列と単位行列をかけると必ず同じ正方行列になります。
正則行列	\(AB=BA=I\)を満たすBのこと？逆行列を持つ。これにより、正則行列と正則行列の逆行列は単位行列になります。
転置行列	これはどのものでも転置したら転置行列になります。正方行列でも正則行列でも対称行列でも。ただ1つ大事なのは、対称行列と転置した転置行列を掛け合わせると単位行列になります。
対称行列	列と行が対称になっている。

単位行列

\begin{eqnarray}
I &=&
\begin{pmatrix}
1 & 0 \\
0 & 1 \\
\end{pmatrix}
\end{eqnarray}

(1,1)や(2,2)では1が、(1,2)や(2,1)では0の値が入ってます。

転置行列

\begin{eqnarray}
A &=&
\begin{pmatrix}
a & b \\
c & d \\
\end{pmatrix} \\
\end{eqnarray}
としたとき、\(A\)の転置行列である\(A^{T}\)は、
\begin{eqnarray}
A^{T} &=&
\begin{pmatrix}
a & c \\
b & d \\
\end{pmatrix} \\
\end{eqnarray}
となります。

以下のように、転置行列の(1,1)や(2,2)などの(k,k)に線を入れて、そこを軸として行と列を入れ替えたものになります。
今回は2次元正方行列を扱ってるので、(1,2)のものは(2,1)に、(2,1)のものは(1,2)に値が移動します。

対称行列

対称行列は(1,1)や(2,2)などの(k,k)を軸に、対称である行列のことです。
\begin{eqnarray}
A &=&
\begin{pmatrix}
a & b \\
b & d \\
\end{pmatrix} \\
\end{eqnarray}
のようなものです。

●行列の性質。
\((AB)^{T} = B^{T}A^{T}\)
　転置させると並び順が逆になります。
よくある例で
対称行列の時、まずAA-1=Iは成立しないので、そのまま。ただ転置すると、BをA-1で置き換えると以下のようになります。
\(（AA^{-1})^{T} = (A^{-1})^{T}A^{T}\)

そしてさらに大事なのは、
\begin{eqnarray}
AA^{-1} = I ・・・① \\
AA^{T} = I ・・・②
\end{eqnarray}

①と②を比較すると、左辺は\(A\)で一緒、右辺は\(I\)で一緒。よって、\(A^{-1}\)と\(A^{T}\)は一緒になります。
つまり、\(A^{-1} = A^{T}\)になります。
ここで、この等式の両辺に転置をとってみたいと思います。転置を取ると、

左辺：\((A^{-1})^{T}\)
右辺：\((A^{T})^{T} = A\)になります。これは転置をして、さらに転置するので元に戻ります。よってそのままになります。

よって、\((A^{-1})^{T} = A\)になります。
意外とこの式使うこと多いです！特に、最小二乗法での回帰係数を行列で求める時です。

ココがポイント

\begin{eqnarray}
(A^{-1})^{T} = A
\end{eqnarray}

ベクトルや行列の微分について

（主に使うところとしては、主成分分析や、回帰分析など）

行列の微分、これは簡単です。
そもそも行列は上でも話した通り、ベクトルの集合体でベク取りによって成り立っています。
なのでベクトルの微分ができれば行列の微分もすぐ理解できます。

\begin{eqnarray}
\frac{\partial}{\partial \beta} X\beta &=& X ・・・③\\
\frac{\partial}{\partial \beta} \beta^{T}X\beta &=& 2X\beta ・・・④\\
\end{eqnarray}

実際に上で学んだことを用いて計算をしてみる

今回例として出すのは回帰分析で回帰係数を出すための手法である最小二乗法にて出てくる正規方程式です。
回帰分析で
\begin{eqnarray}
y_{1} &=& \beta_{11}x_{11} + \epsilon_{1} \\
y_{2} &=& \beta_{21}x_{21} + \epsilon_{2} \\
y_{3} &=& \beta_{31}x_{31} + \epsilon_{3} \\
y_{n} &=& \beta_{n1}x_{n1} + \epsilon_{n} \\
\end{eqnarray}
とします。そうするとこれは、
\begin{eqnarray}
y &=& X\beta + \epsilon
\end{eqnarray}
となります。

上の式から、\(\epsilon = y – X\beta\)であることから、
最小二乗法\(\epsilon\epsilon^{T}\)により、
\begin{eqnarray}
\epsilon^{T}\epsilon
&=& (y – X\beta)^{T}(y – X\beta) \\
&=& (y^{T} – (X\beta)^{T})(y – X\beta) \\
&=& (y^{T} – \beta^{T}X^{T})(y – X\beta) \\
&=& y^{T}y – y^{T}X\beta – \beta^{T}X^{T}y + \beta^{T}X^{T}X\beta \\
\end{eqnarray}

この式に対して\(\beta\)で偏微分を実行します。
\begin{eqnarray}
\frac{\partial}{\partial \beta}\epsilon^{T}\epsilon
&=& \frac{\partial}{\partial \beta} \{ y^{T}y – y^{T}X\beta – \beta^{T}X^{T}y + \beta^{T}X^{T}X\beta \} \\
&=& \frac{\partial}{\partial \beta} y^{T}y – \frac{\partial}{\partial \beta} y^{T}X\beta – \frac{\partial}{\partial \beta} \beta^{T}X^{T}y + \frac{\partial}{\partial \beta} \beta^{T}X^{T}X\beta \\
\end{eqnarray}

\(y^{T}y\)に\(\beta\)がないので、\(\beta\)で微分すると定数となるため、
\begin{eqnarray}
\frac{\partial}{\partial \beta} y^{T}y &=& 0 \\
\end{eqnarray}

\(y^{T}X\)は計算すると行列になるので、偏微分の③が使用できるので、
\begin{eqnarray}
\frac{\partial}{\partial \beta} y^{T}X\beta &=& y^{T}X \\
\end{eqnarray}

\(X^{T}X\)は計算すると行列になるので、\(\beta^{T}\)行列\(\beta\)となるので、偏微分の④が使用できるので、
\begin{eqnarray}
\frac{\partial}{\partial \beta} \beta^{T}X^{T}X\beta &=& 2X\beta \\
\end{eqnarray}

●行列を含んだ方程式の計算
ポイントは右から
スカラー値であれば、特に数字を左からかけないといけないとか、右からかけないといけないとかそういったものは意識していませんでした。
ただこの行列の計算をする場合は、左からかけるのか、右からかけるのかを意識する必要があります。
理由としては上のベクトル計算で述べたとおり、
ベクトルの掛け方によって計算結果は変わること
行列はベクトルによってできていること
そのため、ベクトルの計算によって結果変わるのであれば、それを要素にもつ行列も掛け方によって計算結果が変わるのは想像できますよね。

なので、左から行列をかけるのか、右から行列をかけるのかが重要になります。

統計学を学んでいく際の線形代数学は、これだけを覚えておけばまず大丈夫です！
初学者にとってはかなり難易度の高く、内容も濃かったですが、1つ1つ噛み砕いて説明してみました。
もしわからないということがあれば、お気軽に右上のフォームから回答いたします！

Lookerの権限について整理してみた。

yosshi — Sun, 31 Mar 2024 07:26:48 +0000

Lookerの役割（ロール）ではGA4やGTMのような編集者や閲覧者などシンプルな区分けで用意されています。
Lookerがデフォルトで用意しているものとしては、GA4やGTMのように管理者、開発者、ユーザー、閲覧者のように4つに大きく分けられます。

ただLookerはこの4つに対してよりカスタマイズして権限を追加したり、削除したりすることもできたりするため、かなりカスタマイズができる点が特徴です。
GCPのようにソリューションごとに細かく設定できる感じで、Lookerでも同じようなことができたりします。
この4つのロールをカスタマイズすることができるので、そうなるとカスタマイズ性・柔軟性が高まりますが、より複雑性が増します。
ここではそんな複雑なLookerの権限周りについて自分なりにまとめてみましたので、説明できればと思います。

Lookerのデフォルトの役割（ロール）について

まず基本的なLookerのロールについて紹介します。

Lookerのロール

Lookerではさまざまなロールがあります。

Admin
Developer
Standard User
Viewer

契約の段階ではDeveloper、Standard User、Viewerのみですが、使えるロールにAdminが追加されます。
Adminは契約の段階で使用できるユーザー数を決めるのではなく、Developerの数の中でAdmin設定が可能になります。
例えば、Developerの契約数が10であれば、Admin/Developerに対して計10ユーザーに権限付与することが可能になります。
その10のうちであれば、AdminとDeveloperを振り分けることができます。
Developer2名にしてAdminを8名にすることもできれば、
Developer9名にしてAdminを1名にすることもできます。（Adminは全ての管理設定ができるので、最低1名は必要になります。（おそらく笑））

Lookerの各ロールの権限

そもそも役割（ロール）と権限について説明します。
Lookerでは役割をロール、権限をパーミッションと言ってます。
ロールとパーミッションはGCPと同じ意味なので、GCPに精通している方は飛ばして問題ないです！

ロールはあくまでユーザーの役割であって、その中でもそのユーザーはこういったことができる権利がパーミッションです。
例に挙げるとすると学校では、校長、先生という役割があります。
校長先生は、基本的に全ての先生に対して何かの助言をいうことができるという権限。
先生は、校長先生に対してというよりは生徒に教えることができるという権限。（もちろん校長先生が生徒に教えることもできるかもしれないですが）
このように役割はその人を示し、権限はその役割に対して行える行動になります。

Developer権限だと以下のように管理画面で「設定」が見れなくなるので、さまざまなLookerの設定であったり、スケジュール履歴、ユーザー管理権限、APIなどそういったものが全て見れなくなり、設定ができなくなります。

権限はもっと細かいですが、よく使われる重要なLookerの権限周りについて整理します。

ロール	具体的な権限
Admin	全ての管理設定（データソース接続など） LookMLプロジェクトの開発 Look/Dashboardの作成
Developer	LookMLプロジェクトの開発 Look/Dashboardの作成
Standard User	Look/Dashboardの作成

まず第一にLookerのデフォルトの権限について説明します。
上でも記載した通り、Lookerでは
Admin
Developer
Standard User
Viewer
の4つがあります。
それぞれでできることとしては主に、
Admin：全ての管理画面の操作が可能になる。
Developer：左上の管理者メニューが見れなくなる。　→ 管理者の部分はLookerのさまざまな設定（データソース設定やユーザー管理など）が可能だが、それができなくなる。データソースの接続もできなくなる。
Standard User：左上の開発メニューと一番下のDeveloper Modeが見れなくなる。 → 開発ができないので、LookMLにアクセスもできなくなる。
Viewer：ダッシュボード作成等もできない。閲覧するだけ。
となります。

LookerはGCPと同じように、
Admin（役割）にはAdminが行える行動（権限）があって、
Developer（役割）にはDeveloperが行える行動(権限）があるということです。

そして、この役割に対して権限を色々とカスタマイズすることがLookerではできます。
ダッシュボードをPCにダウンロードできないようにしたい場合は、without_downloadというpermissionをチェックアウトすれば良い。
このようにセキュリティ観点的にダウンロードできないようにするなどを、制限できたりできます。

もちろんカスタマイズをすることも良いと思いますが、かなり管理が大変になります。
さらにそのテストなども行わないといけないので、できる限りはデフォルトのロールを使うことをお勧めします！

各ロールのデフォルトの権限について

Looker
Developerは以下のような権限がデフォルトで付与されています。

Standard Userでは以下のような権限がデフォルトで付与されています。

デフォルトではStandard UserではDevelopの部分がDisableになっていて、このユーザーにはLookMLプロジェクトの開発ができない状態になっています。。
ですがStandard UserにDevelop権限付与することができ、開発させることができます。
でもそうしたら、DeveloperとStandard Userって何が違うの？って話になりますが、
以下の条件から、DeveloperはDevelop権限がある場合、そのユーザーはDeveloperとして数えられてしまうので、Standard UserからDeveloperに昇格してしまうので、要注意です。金額に跳ね上がります。

参考リンク：LookerのDeveloper昇格条件

Lookerの権限一覧は以下で確認できます。
https://cloud.google.com/looker/docs/admin-panel-users-roles?hl=ja

Google同意モード

yosshi — Sun, 31 Mar 2024 06:21:39 +0000

Google同意モードとは「」
Googleも昨今GDPR関連でものすごく叩かれて、制裁金を喰らうようになってきました。
そんな中Googleもちゃんとユーザーから同意を取った上で、広告配信をできるようにしていこう！という取り組みが行われています。
これがGoogle同意モードになります。

なかなか日本国内だとCookieの同意は浸透されていない状況ですが、GDPRや海外の個人情報保護法を対応するには必須な内容かと思います。
今回はそんなgoogle同意モードとはどんなものなのか、そして設定方法、同意を取るとどんな影響があるのかなどについて自分の見解を述べていきたいと思います。

普段はCMP（Consent Management Platform）と言われるCookie同意ツールと絡めてGoogle同意モードを入れたりしていますが、
今回は国内でもそんなにCMPを入れていないところもあると思いますので、今回はCMP入れていない場合でのGoogle同意モードの対応について話していきます。

Google同意モードとは

Google同意モードとは、
昨今の個人情報保護の観点からGoogleもユーザーの同意を得た上で、広告配信に活かしたりという仕組み化しました。
その際にユーザーから同意から同意をとる際のさまざまなモードをGoogle同意モード（Google Consent Mode）といいます。

そのさまざまなモードというのは主には以下4つがあります。

analytics_storage
ad_storage
ad_user_data
ad_personalization

これらに対して、取れる値は、

granted
denied

です。

切断正規分布・トービットモデル

yosshi — Sun, 17 Mar 2024 14:59:16 +0000

正規分布に従うけど、
ある値以降のもののみをピックアップして、そのデータだけを用いて新しい分布を構築したい場合があるとする。
これを切断正規分布と言います。

例えばですが、人の資産の分布を考えると、プラスは預金などで持ってることになりますが、マイナスもありえます。
マイナスの場合は借金ということになります。
ただ、データとしてはプラスを考えたいし、プラスとした時の分布を見たい場合、マイナスのデータを考えずにプラスのデータだけで分布を作る必要があります。
このように、ある条件を区切ってその部分だけで分布を構築する手法です。

逆ミルズ比
\begin{eqnarray}
f(x|x > c)
&=& \displaystyle \frac{f(x, x > c)}{\displaystyle \int_{c}^{\infty}f(x)dx} \\
&=& \displaystyle \frac{f(x)}{\displaystyle \int_{c}^{\infty}f(x)dx} \\
&=& \displaystyle \frac{f(x)}{1-F(c)} \\
\end{eqnarray}

ここで、\(x \sim N(\mu, \sigma^{2})\)であることから、
現在の\(c\)地点は\(z\)軸\( \Big( = \displaystyle \frac{x-\mu}{\sigma} \Big) \)で変換した際の値は、\( \displaystyle \frac{c-\mu}{\sigma} \)になるので、
\begin{eqnarray}
p(x)
&=& f(x|x > c) \\
&=& \displaystyle \frac{f(x)}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \\
\end{eqnarray}
となります。
この状態で、\(x\)の期待値を求めてみると、
\begin{eqnarray}
E_{f}[x|x>c]
&=& \int_{c}^{\infty}xf(x|x>c)dx \\
&=& \int_{c}^{\infty}xp(x)dx \\
&=& \displaystyle \int_{c}^{\infty} \frac{xf(x)}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) }dx \\
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \int_{c}^{\infty} x\frac{1}{\sqrt{2\pi}\sigma} \exp\Big\{\displaystyle -\frac{(x-\mu)^{2}}{2\sigma^{2}} \Big\} dx \\
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \int_{c}^{\infty} x\frac{1}{\sqrt{2\pi}\sigma} \exp\Big\{\displaystyle -\frac{1}{2}\Big(\frac{x-\mu}{\sigma}\Big)^{2} \Big\} dx \\
\end{eqnarray}

ここで、\(\displaystyle t = \frac{x-\mu}{\sigma}\)とすると、\(dt = \displaystyle \frac{1}{\sigma}dx\)となり、そして\(\mu + t\sigma = x\)であることから、

\begin{eqnarray}
E[x]
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \int_{\frac{c-\mu}{\sigma}}^{\infty} \frac{1}{\sqrt{2\pi}}(\mu+t\sigma) \exp\Big( \displaystyle -\frac{t^{2}}{2}\Big) dt \\
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \Big\{ \mu\Big(\int_{\frac{c-\mu}{\sigma}}^{\infty} \frac{1}{\sqrt{2\pi}}\exp\Big(-\frac{t^{2}}{2}\Big)dt\Big) + \sigma\Big( \int_{\frac{c-\mu}{\sigma}}^{\infty} t\frac{1}{\sqrt{2\pi}}\exp\Big(-\frac{t^{2}}{2}\Big)dt \Big) \Big\} \\
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \Big\{ \mu\Big( 1-\Phi\Big(\frac{c-\mu}{\sigma}\Big) \Big) + \sigma\Big( \int_{\frac{c-\mu}{\sigma}}^{\infty} t\frac{1}{\sqrt{2\pi}}\exp\Big(-\frac{t^{2}}{2}\Big)dt \Big) \Big\} \\
\end{eqnarray}
この2行目の第1項目は\(N(0,1)\)の標準正規分布であることから、3行目の第1項に変換しています。

ここで、上の3行目の第2項について、
\(\displaystyle – \frac{1}{2}t^{2} = s\)とすると、\(-tdt = ds\)であることから、
第2項だけについて、

\begin{eqnarray}
第2項
&=& \int_{\frac{c-\mu}{\sigma}}^{\infty} t\frac{1}{\sqrt{2\pi}}\exp\Big(-\frac{t^{2}}{2}\Big)dt \\
&=& – \int_{-\infty}^{-\frac{1}{2}(\frac{c-\mu}{\sigma})^{2}} -\frac{1}{\sqrt{2\pi}}\exp(s)ds \\
&=& \frac{1}{\sqrt{2\pi}} \Big[ \exp(s) \Big]_{-\infty}^{-\frac{1}{2}(\frac{c-\mu}{\sigma})^{2}} \\
&=& \frac{1}{\sqrt{2\pi}} \Big\{ \exp\Big(-\frac{1}{2}\Big(\frac{c-\mu}{\sigma}\Big)^{2}\Big) – \exp(-\infty) \Big\} \\
&=& \frac{1}{\sqrt{2\pi}} \Big\{ \exp\Big(-\frac{1}{2}\Big(\frac{c-\mu}{\sigma}\Big)^{2}\Big) \Big\} \\
\end{eqnarray}
第2項は、\(\exp(-\infty) \rightarrow 0\)となるので0となる。

そして上は、まさに\(N(0,1)\)の標準正規分布となるので、第2項は、
\begin{eqnarray}
第2項
&=& \phi\Big(\frac{c-\mu}{\sigma}\Big) \\
\end{eqnarray}
となる。

以上のことから、
\begin{eqnarray}
E[x]
&=& \displaystyle \frac{1}{ 1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big) } \Big\{ \mu\Big( 1-\Phi\Big(\frac{c-\mu}{\sigma}\Big) \Big) + \sigma\phi\Big(\frac{c-\mu}{\sigma}\Big) \Big\} \\
&=& \mu + \sigma\frac{\phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big)}{1-\Phi\Big(\displaystyle \frac{c-\mu}{\sigma}\Big)} \\
\end{eqnarray}
この\(E[x]\)は\(p(x)\)で計算してるので、厳密には\(E[x|x>c]\)であることに注意。

これは何に使えるのか？

これは、EMアルゴリズムなど、欠損値があった際に期待値で欠損値に値を埋め込むみたいなことをしたりします。
よくその欠損のある説明変数の平均値をとってそれを入れる手法であったり、すでにあるデータから回帰分析で予測してその値を入れる手法であったりと、欠損データに対してどういう値を入れて完全データにするのが良いのかが議論されます。

その中の1つとして、上記のように条件付き期待値を取ってその値を埋め込む手法が上で説明したミルズ比になったりします。

トービットモデル

トービットモデルとは、目的変数が限られた範囲の値しかとらない場合があるときに構築する回帰モデルのことです。

例えば資産のデータを考える際、この資産を予測する場合があるとする。
資産をマイナスを取らない場合を想定すれば、説明変数を\(x\)とした時、回帰モデルは、
\(y_{i} = \beta x_{i} + \epsilon_{i}\)となります。
ここで、\(\epsilon \sim N(0,\sigma^{2}) \)とします。

そうすると、\(\epsilon_{i} = y_{i} – \beta x_{i} \)となることと、
\(\epsilon \sim N(0,\sigma^{2}) \)に従うことから、\(\epsilon\)は正規分布に従うので、

まず\(y_{i}\)について、尤度関数を求めると、
\begin{eqnarray}
L(\beta, \sigma)
&=& f(y_{1}) * f(y_{2}) \cdot \cdot \cdot f(y_{n}) \\
\end{eqnarray}
ここで、イプシロンの式に変形する。
ここで、一般的に標準正規分布と標準分布は以下のように表記される。

【標準正規分布】
\begin{eqnarray}
\phi(x)
&=& \frac{1}{\sqrt{2\pi}} \exp\Bigr(-\frac{x^{2}}{2}\Bigr) \\
\end{eqnarray}

【標準分布】
\begin{eqnarray}
\Phi(x)
&=& \int_{-\infty}^{x} \phi(t)dt \\
\end{eqnarray}

ここで、\(\epsilon \sim N(0,\sigma^{2}) \)であることから、
\begin{eqnarray}
f(\epsilon)
&=& \frac{1}{\sqrt{2\pi}} \exp\Bigr(-\frac{\epsilon^{2}}{2}\Bigr) \\
\end{eqnarray}
ここで、\(y_{i} = \beta x_{i} + \epsilon_{i}\)により、\(\epsilon_{i} = y_{i} – \beta x_{i}\)であるため、\(d\epsilon = dy\)。
そして、
\begin{eqnarray}
Z
&=& \frac{\epsilon_{i} – E[\epsilon_{i}]}{\sqrt{V(\epsilon_{i})}} \\
&=& \frac{y_{i} – \beta x_{i} – 0}{\sqrt{\sigma^{2}}} \\
&=& \frac{y_{i} – \beta x_{i}}{\sigma} \\
\end{eqnarray}
そして、これに対して、両辺をZで微分すると、
\begin{eqnarray}
dZ
&=& \frac{1}{\sigma}dy
\end{eqnarray}
となるので、

\begin{eqnarray}
f(y)
&=& \frac{1}{\sigma}\phi\Bigr(\frac{y_{i} – \beta x_{i}}{\sigma}\Bigr)
\end{eqnarray}
となる。これは\(y_{i}\)が\(L\)以上の時を想定。

逆に、\(y_{i}\)が\(L\)未満の時は、一律確率は、\(1-\Phi\Bigr(\displaystyle \frac{x_{i}\beta – L}{\sigma} \Bigr) \)なので、
尤度関数は、
\begin{eqnarray}
L(\beta, \sigma)
&=& \prod_{i=1}^{n} \Bigr[ \frac{1}{\sigma}\phi\Bigr(\frac{y_{i} – \beta x_{i}}{\sigma}\Bigr) \Bigr]^{I(y_{i})} \prod_{l=1}^{m} \Bigr[ \Phi\Bigr(\displaystyle \frac{x_{i}\beta – L}{\sigma} \Bigr) \Bigr]^{I(y_{l})}
\end{eqnarray}

\begin{eqnarray}
L(\beta, \sigma)
&=& f(y_{1}) * f(y_{2}) \cdot \cdot \cdot f(y_{n}) \\
\end{eqnarray}
\(y_{i}\)に0か1が割り振られ、そしてそれに対して、確率密度関数が割り当てられる。

ポアソン分布・幾何分布・指数分布・ガンマ分布の関係

yosshi — Sat, 16 Mar 2024 15:14:29 +0000

ポアソン分布、幾何分布、指数分布、ガンマ分布これらは様々な関係があります。

ポアソン分布の導出方法としては、
よくあるのは二項分布から、ラムダを固定して試行回数nを無限に増やしていけば、原理的には滅多に起きないことというように表現でき、確率pが小さくなる。これでポアソン分布を導く方法。（仮定からpが小さくなることを言っていて、その場合に導かれた分布はまさに確率が低い時に適用できる分布となり、それがポアソン分布になる。）
もう1つの方法は、ポアソン過程。

分布	説明
ポアソン分布	ある期間において平均\(\lambda\)回発生すると仮定した場合の確率分布
幾何分布	1回イベント発生するのにかかった試行回数の分布
指数分布	ある期間において平均\(\lambda\)回発生すると仮定した場合において、1回イベント発生するのにかかった時間\(x\)の確率分布
ガンマ分布	ある期間において平均\(\lambda\)回発生すると仮定した場合において、\(k\)回イベント発生するのにかかった時間\(x\)の確率分布

分布	密度関数
ポアソン分布	\(f(x) = \displaystyle \frac{e^{-\lambda} \lambda^{x}}{x!} \)
幾何分布	\(f(x) = p^{x}(1-p) \)
指数分布	\(f(x) = \lambda e^{-\lambda x} \)
ガンマ分布	\(f(x) = \displaystyle \frac{\lambda^{k}}{\Gamma(k)}x^{k-1}e^{-\lambda x} \)

ガンマ分布から指数分布の導出

なので、まず指数分布はガンマ分布の説明文を見比べると、違う部分は指数分布の「1回イベント」ガンマ分布の「\(k\)回イベント」なので、指数分布はガンマ分布で\(k = 1\)としたものになります。
実際に計算してみると、\(\Gamma(1) = 1\)であることから、
\begin{eqnarray}
f(x)
&=& \frac{\lambda^{1}}{\Gamma(1)}x^{1-1}e^{-\lambda x} \\
&=& \frac{\lambda}{1}x^{0}e^{-\lambda x} \\
&=& \lambda e^{-\lambda x}
\end{eqnarray}
となり、指数分布になりました。

ポアソン分布の導出

ポアソン分布についてはいくつか導出方法があります。

\(①\) 二項分布からの導出
\(②\) ポアソン過程からの導出

\(①\) 二項分布からの導出

こちらについては、以下の記事で扱っているので、ぜひご覧ください！
二項分布からのポアソン分布導出

今回は、下の\(②\)にてポアソン過程を使ったポアソン分布の導出について説明します！

\(②\) ポアソン過程からの導出

次にこれらの分布について、図を書いて考えてみます。

ここで、\(k\)回目のイベントが発生した時間を\(T_{k} (k \neq 0)\)とします。
例えば初めてのイベントが発生した時間は1回目になるので、\(T_{1}\)
2回目に発生したイベントの時間は、\(T_{2}\)
となります。
例外として最初の時間は\(T_{0} = 0\)とします。

このとき何が言えるかというと、以下のように期間を切れば、初めてのイベント発生を作ることができます。
以下のように点線で期間を区切ってみたいと思います。
\(T_{0}\)から\(T_{1}\)までを1つの期間と見れば、\(T_{0}\)から時間がスタートしたとした時、初めてイベントが発生するのが\(T_{1}\)になるので、つまり経過時間は\(T_{1} – T_{0}\)になります。
\(T_{1}\)から\(T_{2}\)までを1つの期間と見れば、\(T_{1}\)から時間がスタートしたとした時、初めてイベントが発生するのが\(T_{2}\)になるので、つまり経過時間は\(T_{2} – T_{1}\)になります。

これはとても重要なポイントで、期間を区切れば、初めてイベントが発生するまでの分布を構築することができるということである。
初めてイベントが発生するまでの時間分布といえば、そうですね！指数分布です！
期間ごとに指数分布に従っているということになります。
1つ目の期間では、確率変数\(T_{1} – T_{0}\)は指数分布に従っていて、確率変数\(T_{2} – T_{1}\)についても指数分布に従っていて、….、繰り返して、確率変数\(T_{k} – T_{k-1}\)も指数分布に従っているということになります。
そして上記の分布は同時に起きるので、積で分布を構築することも可能です。

ココがポイント

ポアソン過程では、回数と経過時間にそれぞれ着目して、回数に着目した時の経過時間と、経過時間に着目した時の回数をそれぞれ視覚的に捉えるようにする。

ここからポアソン過程について説明していきます。
過程なので、時間を確率変数とします。
なので、確率変数\(W_{k} = T_{k} – T_{k-1}\)とおきます。
そうすると確率変数\(W_{k}\)は平均\(\lambda\)の指数分布に従うので、
\begin{eqnarray}
f(W_{k}) &=& \lambda e^{-\lambda W_{k}}
\end{eqnarray}
と表現できます。

ここで1つ問題があります。
ポアソン分布を導出したいが、指数分布とポアソン分布の確率変数は一致していません。
平均の\(\lambda\)は一致していますが、指数分布は経過時間を確率変数にしているのに対して、ポアソン分布は回数を確率変数としています。
なので、経過時間をうまくポアソン分布で扱えるように回数に変換するような処理が必要になります。

上の図を経過時間視点で見るのではなく回数視点で見てみます。
発生した回数を\(k\)回とすると、その発生時間は\(T_{k}-T_{k-1}\)の間で発生していることになります。
\(T_{k-1}\)は\(k-1\)回が発生した時間を含んでいるので、これを引くことで、\(T_{k}-T_{k-1}\)の中で\(k\)回目が発生しているということになります。

そして今\(\lambda\)回を平均としてみている中で、\(k\)回目発生するまでの時間分布と\(k-1\)回発生するまでの時間分布を引けば、その中に1回発生します。
この\(k\)回目発生するまでの時間分布や\(k-1\)回目発生するまでの時間分布は、ガンマ分布に従います！！

なので、この2つの分布を引いたものがポアソン分布になるということになります。

ポアソン分布

ポアソン分布は回数が確率変数となるので、ポアソン分布をPとした時、
そして指数分布の平均1回を仮定しておらず、ポアソン分布では平均\(lambda\)回を仮定しているので、
平均\(\lambda\)回でかつ、1回の発生を考えるのは、ガンマ分布となるので、ガンマ分布を用いて、
\begin{eqnarray}
P(N_{t} = k)
&=& P(T_{k} < t, T_{k+1} > t) \\
&=& P(T_{k} < t) - (T_{k+1} < t) \\ &=& \int_{0}^{t} \frac{\lambda^{k}}{(k-1)!}x^{k-1}\exp^{-\lambda x}dx - \int_{0}^{t} \frac{\lambda^{k+1}}{(k)!}x^{k}\exp^{-\lambda x}dx \\ &=& \Bigr[\frac{\lambda^{k}}{k!} x^{k} \exp^{-\lambda x}\Bigr]_{0}^{t} \\ &=& \displaystyle \exp^{-\lambda t}\frac{(\lambda t)^{k}}{k!} \\ \end{eqnarray} とポアソン分布を導出することができる。