読者です 読者をやめる 読者になる 読者になる

keisukeのブログ

***乱雑です!自分用のメモです!*** 統計や機械学習の勉強と、読み物を書く練習と、備忘録用のブログ

推定量の性質について

一致性

推定量が一致性を持つ:標本数{\begin{align*}n\end{align*}}が無限に多いときに,ある値に収束する.
すなわち,{\begin{align*}\forall\epsilon>0\end{align*}}に対し
{\begin{align*}
\lim_{n\rightarrow \infty}\mathbb{P}(||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||\geq\epsilon)=0
\end{align*}
}
このとき{\begin{align*}\widehat{\boldsymbol{\theta}}_n\end{align*}}{\begin{align*}\boldsymbol{\theta}^*\end{align*}}確率収束すると呼び,
{\begin{align*}
\widehat{\boldsymbol{\theta}}_n \overset{P}{\to} \boldsymbol{\theta}^*
\end{align*}
}
と書く.
特に,標本平均が真の期待値に確率収束することは大数の弱法則と呼ばれる.

不偏性

期待二乗誤差{\begin{align*}\mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||^2\right]\end{align*}}について,
{\begin{align*}
\mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||^2\right] = \mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \mathbb{E}[\widehat{\boldsymbol{\theta}}_n]||^2\right] + ||\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] - \boldsymbol{\theta}^*||^2
\end{align*}
}
と分解できて,第一項をバリアンス項(分散),第二項をバイアス項(期待値)と呼ぶ.
推定量が不偏性を持つ:バイアスが0,つまり{\begin{align*}\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] = \boldsymbol{\theta}^*\end{align*}}
推定量が漸近不偏性を持つ:{\begin{align*}n\end{align*}}が大きければバイアスが0,つまり{\begin{align*}\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] \overset{P}{\to} \boldsymbol{\theta}^*\end{align*}}

有効性

推定量が有効性を持つ:不偏性を持つ(バイアスが0)ような推定量の中でバリアンス項が最小.
推定量が漸近有効性を持つ:不偏性を持つような推定量の中で,{\begin{align*}n\end{align*}}が大きければバリアンスの下界*1を達成する.

正規性

推定量が漸近正規性を持つ:{\begin{align*}n\end{align*}}が大きいとき推定量がある正規分布に従う.

最尤推定

尤度を最大にするような推定量.
最尤推定量は,一致性・漸近不偏性・漸近有効性を持つ.