下校時刻

メモ、読んだ本のまとめメモ、考えたことのメモ、その他のメモなどが書いてあるブログです（twitter: @hoture6）

素人的に線形代数の重要な概念とその性質を整理する

数学 線形代数

こんにちは。

久しぶりに線形代数を勉強しようと思ってLinear Algebra Review and Reference - CS 229を読んだので、忘れていた内容を整理します。


Trace

定義

{ \displaystyle \mathrm{tr} A = \sum_i A_{ii} }

性質

  • {\mathrm{tr}ABC = \mathrm{tr}CAB = \mathrm{tr}BCA}

Norm

定義

ベクトルの"長さ"を表す。ベクトル{x}の{p}次のnormは、

{\displaystyle ||x||_p = \left(\sum_i \left|x_i\right|^p\right)^\frac{1}{p} }

例

  • {||x||_1 = \sum_i |x_i|}
  • {||x||_2 = \sqrt{\sum_i {x_i}^2}}
  • {||x||_\infty = \max_i |x_i|}

Rank

定義

行列{A \in \mathbb{R}^{m \times n}}のrankは、{A}の線型独立な列（行）の数である。

性質

  • {\mathrm{rank}(A) \le \min(m, n)}。等号が成立するとき、{A}はfull rankであると言う
  • {A}はfull rankであることは{A}がnon-singularであることと同値
  • {\mathrm{rank}(AB) \le \min(\mathrm{rank}(A), \mathrm{rank}(B))}
  • {\mathrm{rank}(A + B) \le \mathrm{rank}(A) + \mathrm{rank}(B)}

Orthogonal

定義

ベクトル{x, y \in \mathbb{R}^n}は{x^{T} y = 0}のときorthogonalであると言う。

行列{U \in \mathbb{R}^{n \times n}}はすべての列（行）が互いにorthogonalで規格化されているときorthogonalであると言う。

Determinant

定義

行列{A \in \mathbb{R}^{n \times n}}のdeterminantは、

$|A| = \sum_{i} (-1)^{i + j} a_{ij} |A_{\i\j}|$

ただし、{A_{\i\j} \in \mathbb{R}^{(n-1) \times (n-1)}}は{A}から{i}行目と{j}列目を削除した行列。

性質

  • {|A|}の絶対値は{A}の行が作る超立体（{n=2}なら平行四辺形の面積）の体積になる
  • {A}のある１つの行を{t}倍すると、determinantも{t}倍になる
  • {A}のある１組の行を交換すると、determinantは-1倍になる
  • {|AB| = |A||B|}
  • {A}がsingularなとき（そしてそのときに限り）{|A| = 0}
  • {A^{-1} = 1/|A|}

Quadratic Form

定義

行列{A \in \mathbb{R}^{n \times n}}、ベクトル{x \in \mathbb{R}^n}についてスカラー値{x^{T} A x}をquadratic formと言う。

Positive / Negative definite

定義

対称行列{A \in \mathbb{R}^{n \times n}}について、

  • 任意の{x \ in \mathbb{R}^n}について{x^{T} A x} > 0なら、{A}はpositive definite
  • 任意の{x \ in \mathbb{R}^n}について{x^{T} A x} \ge 0なら、{A}はpositive semidefinite
  • 任意の{x \ in \mathbb{R}^n}について{x^{T} A x} \lt 0なら、{A}はnegative definite
  • 任意の{x \ in \mathbb{R}^n}について{x^{T} A x} \le 0なら、{A}はnegative semidefinite
  • positive semidefiniteでもnegative semidefiniteでもなければ、{A}はindefinite

性質

  • {A}がpositive (semi)definiteならば、{-A}はnegative (semi)definite
  • {A}がpositive/negative definiteならば、full rankでありnon-singular
  • 行列{B \in \mathbb{R}^{m \times n}}について{B^{T} B}はかならずpositive semidefinite

Eigenvalue / Eigenvector

定義

行列{A \in \mathbb{R}^{n \times n}}、複素数{\lambda \in \mathbb{C}}、ベクトル{x \in \mathbb{C}^n}について

{ \displaystyle Ax = \lambda x, x \neq 0 }

のとき{\lambda}は{A}のeigenvalue、{x}はeivenvectorであると言う。

性質

  • {\mathrm{tr}A = \sum_{i} \lambda_i}
  • {|A| = \Pi_{i} \lambda_i}
  • {A}のrankは非零のeivenvalueの数に等しい
  • {A}が対称行列ならば、すべての{\lambda_i}は実数
  • {A}が対称行列で、すべての{\lambda_i}が正ならば、{A}はpositive definite（{\lambda_i} \ge 0: positive semidefinite、{\lambda_i} \lt 0: negative definite、{\lambda_i} \le 0: negative semidefinite）
  • {A}が対称行列ならば、quadratic form{x^{T} A x}を最大化/最小化する{x}は最大/最小のeivenvalueに対応するeivenvectorで、その値は最大/最小のeivenvalueになる

Gradient

定義

行列{A \in \mathbb{R}^{n \times n}}を引数にとる関数{f: \mathbb{R}^{n \times n} \to \mathbb{R}}を考える。 fのgradient{\nabla_A f(A) \in \mathbb{R}^{n \times n}}は、

{ \displaystyle \left(\nabla_A f(A)\right)_{ij} = \frac{\partial f(A)}{\partial A_{ij}} }

ベクトル{x \in \mathbb{R}^{n}}を引数にとる関数{g: \mathbb{R}^{n} \to \mathbb{R}}を考える。 gのgradient{\nabla_x g(x) \in \mathbb{R}^{n}}は、

{ \displaystyle \left(\nabla_x g(x)\right)_{i} = \frac{\partial f(x)}{\partial x_{i}} }

性質

  • {\left(\nabla_x b^{T} x \right)_{i} = b}
  • {A}が対称ならば、{\left(\nabla_x x^{T} A x\right)_{i} = 2Ax}

Hessian

ベクトル{x \in \mathbb{R}^{n}}を引数にとる関数{g: \mathbb{R}^{n} \to \mathbb{R}}を考える。 gのHessian{H = {\nabla_x}^2 g(x) \in \mathbb{R}^{n \times n}}は、

{ \displaystyle H_{ij} = \left{\nabla_x}^{2} g(x))_{ij} = \frac{\partial^{2} f(x)}{\partial x_{i} \partial x_{j}} }

↑うまく数式にならないので心眼で読んでください。

性質

  • {A}が対称ならば、{\left({\nabla_x}^2 x^{T} A x\right)_{i} = 2A}