推定量の性質について - keisukeのブログ

一致性

推定量が一致性を持つ：標本数 ${\begin{align*}n\end{align*}}$ が無限に多いときに，ある値に収束する．
すなわち， ${\begin{align*}\forall\epsilon>0\end{align*}}$ に対し
${\begin{align*} \lim_{n\rightarrow \infty}\mathbb{P}(||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||\geq\epsilon)=0 \end{align*} }$
このとき ${\begin{align*}\widehat{\boldsymbol{\theta}}_n\end{align*}}$ が ${\begin{align*}\boldsymbol{\theta}^*\end{align*}}$ に確率収束すると呼び，
${\begin{align*} \widehat{\boldsymbol{\theta}}_n \overset{P}{\to} \boldsymbol{\theta}^* \end{align*} }$
と書く．
特に，標本平均が真の期待値に確率収束することは大数の弱法則と呼ばれる．

不偏性

期待二乗誤差 ${\begin{align*}\mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||^2\right]\end{align*}}$ について，
${\begin{align*} \mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \boldsymbol{\theta}^*||^2\right] = \mathbb{E}\left[||\widehat{\boldsymbol{\theta}}_n - \mathbb{E}[\widehat{\boldsymbol{\theta}}_n]||^2\right] + ||\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] - \boldsymbol{\theta}^*||^2 \end{align*} }$
と分解できて，第一項をバリアンス項（分散），第二項をバイアス項（期待値）と呼ぶ．
推定量が不偏性を持つ：バイアスが0，つまり ${\begin{align*}\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] = \boldsymbol{\theta}^*\end{align*}}$ ．
推定量が漸近不偏性を持つ： ${\begin{align*}n\end{align*}}$ が大きければバイアスが0，つまり ${\begin{align*}\mathbb{E}[\widehat{\boldsymbol{\theta}}_n] \overset{P}{\to} \boldsymbol{\theta}^*\end{align*}}$ ．