keisukeのブログ

***乱雑です！自分用のメモです！*** 統計や機械学習の勉強と、読み物を書く練習と、備忘録用のブログ

MCMCサンプリングって何をするもの

統計

MCMC (マルコフ連鎖モンテカルロ法)サンプリングが結局何をしているかというと，
サンプリングという名の通り，未知の確率分布のサンプリングをしている．
例えば未知の確率分布\begin{align*}p(x)\end{align*}を推定したいが，
解析的に解けないので数値的に解くことにする．
そういうとき，MCMCサンプリングによって，(十分大きな)標本列\begin{align*}\{x_i\} \sim p(x)\end{align*}を生成することで，その\begin{align*}\{x_i\}\end{align*}のヒストグラムそのもの，あるいは平均・分散・中央値などから擬似的に確率分布を再現できる．

なぜMCMCがベイズ統計学とよく一緒に使われるのかというと，\begin{align*}x\end{align*}がある分布のパラメータだとみなせば，MCMCサンプリングによって得られた標本列\begin{align*}\{x_i\} \sim p(x)\end{align*}で表現できる分布は，パラメータの確率分布だからである．
これがパラメータの確率分布であるということは，まさにベイズ統計でやろうとしていることそのもの．
MCMCとベイズ統計学はそれぞれ独自に発達してきた歴史を持つが，現在のところ非常に相性の良い組み合わせと言える．