keisukeのブログ

***乱雑です!自分用のメモです!*** 統計や機械学習の勉強と、読み物を書く練習と、備忘録用のブログ

線形代数

線形代数の基礎を復習したので簡単にまとめ。


 n 次のベクトル  \boldsymbol{v}, \boldsymbol{u} と、 n n 列の行列 $$ \boldsymbol{A} = (\boldsymbol{a_1}, \boldsymbol{a_2}, \dots, \boldsymbol{a_n}) $$ を考える。 ただし  \boldsymbol{v} \boldsymbol{u} は横ベクトル、 \boldsymbol{a_i} は縦ベクトル。

行列  \boldsymbol{A} によって変換がおこなわれる( \boldsymbol{u} = \boldsymbol{Av})時、各  \boldsymbol{a_i} は、 i 番目の基底ベクトルの変換後の位置を表す。
つまり、 \boldsymbol{A} の各列に並んでいる縦ベクトル  \boldsymbol{a} は、それぞれ  (1,0,\dots,0)^\top,  (0,1,\dots,0)^\top, ...,  (0,0,\dots,1)^\top の変換先を表す。

この基底ベクトルの変換によって作られる図形  \boldsymbol{a_1}, \boldsymbol{a_2}, \dots, \boldsymbol{a_n} の大きさ(二次元なら面積、三次元なら体積)が、 \boldsymbol{A}行列式である。
行列式が0になる、つまり図形の大きさが0になるのは、 \boldsymbol{a_i} が一次従属であるとき。 なぜなら、一次従属のとき、変換先の次元がつぶれてしまうから。二次元の場合だったら、 \boldsymbol{a} が同じ方向を向いているとき、変換先は直線上に全て乗ってしまい、図形の大きさは0になる。 このように次元がひとつでもつぶれると、つまり行列式が0だと、もう変換を元に戻すことができないので、逆行列が存在しなくなる。

行列  \boldsymbol{A}固有ベクトルとは、その行列による変換によって向きが変わらないベクトルのこと。
固有ベクトルは互いに直交しているわけでもないし、必ず存在するわけでもない。 特に、固有ベクトルの大きさを1に揃えた時、その固有ベクトルが変換によってどれだけ伸び縮みするかその割合を固有値と呼ぶ。

 \boldsymbol{A} の各固有ベクトル  \boldsymbol{q_1}, \boldsymbol{q_2}, \dots, \boldsymbol{q_n} を並べた行列を  \boldsymbol{Q} とすると、 まず固有値の定義から  \boldsymbol{Aq_i} = \lambda_i\boldsymbol{q_i}
これを行列形式に直せば、  \boldsymbol{AQ} = \boldsymbol{Q\Lambda} となって、結局  \boldsymbol{A} = \boldsymbol{Q\Lambda Q^{-1}} となる。

特に、  \boldsymbol{A} が対称行列であるとき、固有値は全て実数であり、その各固有ベクトルはそれぞれ直交する。つまり、  \boldsymbol{Q} が直交行列になるわけだから、  \boldsymbol{Q}^\top = \boldsymbol{Q}^{-1} が成立!

対称行列  \boldsymbol{A} に対して、任意のベクトル  \boldsymbol{z} 全てにおいて  \boldsymbol{z^\top Az} > 0 が成立する時、  \boldsymbol{A}正定値行列と呼ぶ*1 \boldsymbol{z^\top Az} \geq 0 の場合は半正定値行列
正定値行列であることと、全ての固有値が正であることは必要十分条件である。同様に、半正定値行列であることと、全ての固有値がゼロ以上であることは必要十分条件である。
これは、対称行列の固有ベクトルを並べた行列  \boldsymbol{Q} が直交行列になることを使って、 $$ \boldsymbol{z}^\top \boldsymbol{A} \boldsymbol{z} = \boldsymbol{z}^\top \boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1} \boldsymbol{z} = ( \boldsymbol{Q}^{-1} \boldsymbol{z})^\top \boldsymbol{\Lambda} (\boldsymbol{Q}^{-1} \boldsymbol{z}) $$ となることから、 (\boldsymbol{Q}^{-1} \boldsymbol{z}) が任意のベクトルであること、 \boldsymbol{\Lambda} が対角行列であることから導ける。


ベクトル空間(線型空間)とは、線形性を持つ元(ベクトル)からなる空間。ベクトルの単位元、逆元、分配則などが存在する。

ノルム空間とは、ノルムの定義されたベクトル空間。ノルムとは、ベクトルの長さのようなもの。つまり、長さを測れるベクトルからなる空間のこと。

内積空間とは、内積の定義されたベクトル空間。内積0となるベクトルの組は直交している。また、自分自身との内積はノルムとなるので、内積空間はノルム空間でもある。

バナッハ空間とは、完備なノルム空間。ここでいう完備とは、任意のコーシー列が空間内の元に収束することであるが、もっとわかりやすく言えば、「穴の開いていない」空間のこと。例えば、有理数の集合からなる空間では、 \sqrt{2} に収束するような有理数からなるコーシー列を作れるのに、 \sqrt{2}有理数の集合からはみ出ている。つまり  \sqrt{2} の部分で穴が空いているため、完備ではない。逆に、実数の集合からなる空間は完備である。

ヒルベルト空間とは完備な内積空間。内積空間はノルム空間なので、自動的にヒルベルト空間はバナッハ空間でもある。

*1:定値性は、ふつう、対称行列にのみ定義される