線形代数 linear algebraとは
線形代数の学習の流れ
- 連立方程式
- ベクトル
- 線形空間と基底
- 線形変換
- 基底の取替え
- 固有値・固有ベクトル
- 行列の対角化
線形代数の定義
線形 linear：直線のイメージ → 1次式（y=ax+b）
代数 algebra：未知数を数の代わりに文字でおく考え方
線形代数とは、文字（変数）で表された1次式を扱う数学
線形代数の応用分野
| 分野 | 内容 |
| 情報 | 誤り符号訂正理論 画像圧縮技術（JPEG,MPEGなど） 3DCG（座標変換） PageRank 人工知能 |
| 統計学 | 多変量解析（主成分分析など） |
| 経済学・経営学 | 線形計画法（経営資源の配分） 産業関連表 |
| 社会科学 | 人口の動態分析 |
| 化学 | Huckel近似（電子の振る舞いの解析） |
| 物理学 | 量子力学 |
連立一次方程式 simultaneous linear equations
掃き出し法 row reduction
中学で習う連立方程式の解き方
- 代入法：y=2xなどの式を、もう一方の式に代入する。
- 消去法：1つの文字について係数を合わせ、式どうしの引き算をし、式の中の文字数を減らしていく。
掃き出し法の手順
- 文字の係数を1に合わせる。
- その係数が1となった式を用いて他の式の文字xを消去する。
ガウス・ジョルダンの消去法 Gaussian elimination とも呼ばれます。
係数だけを取り出して解くことができます。
行基本変形の手順
- 行と行を入れ替える。
- ある1つの行をc倍する。
- ある1つの行のc倍を他の行に足す。
行基本変形を用いて、対角線に1が並ぶように変形していきます。
解が不定または不能である方程式
無数に解がある方程式 → 解が不定
解が1つもない方程式 → 解が不能
同次連立一次方程式
同次連立一次方程式：右辺がすべて0である連立一次方程式
非同次連立一次方程式：右辺に1つでも0でない式がある連立一次方程式
三元連立一次方程式の不定・不能
1つの解が定まる場合
・1つの交点 ランク：3、自由度：0
解が不定の場合
・交線共有（1つの交線と3平面） ランク：2、自由度：1
・交線共有（1つの交線と2平面） ランク：2、自由度：1
・3平面が一致 ランク：1、自由度：2
解が不能の場合
・平行な2平面と交わる1平面
・平行な3つの交線
・一致する2平面に平行なもう1つの平面
・3平面が一致
線形空間 linear space
線形空間とは
複数ベクトルの1次結合によって表される空間のこと。
ベクトル空間 vector space とも呼ばれます。
2次元の線形空間R2（平面）の場合、ベクトルa、ベクトルbにより、kx＋lbと表されます。
基底
線形空間R2の任意の点Pに対して、OP＝ka＋lbとなる（k, l）の組がただ1通りに決まるとき、{a, b}はR2の基底であるといいます。
e1＝(1, 0), e2＝(0, 1)で対してOP＝e1x＋e2y＝x+yとなります。e1、e2を標準基底といいます。
OP＝ka＋lbもOP＝e1x＋e2yもどちらも同じ点Pを表現しています。
OP＝ka＋lbと表現することは、線形空間R2に新しい座標を導入していることになります。
→統計の主成分分析で利用する考え方です。
連立一次方程式との関係
連立一次方程式の解が1つに決まるとき、a, b, cは基底となります。
連立一次方程式の解が不定または不能であるとき、a, b, cは基底ではありません。
基底ではないa, b, cで表される空間は、平面または直線になります。
線形空間の定義
集合Vの任意の元a, bと任意の値kについて、和a+b、スカラー倍kaがVの元となるように定義されていて、これらの演算が次の各種法則を満たすとき、Vを線形空間という。
和について 結合法則、交換法則、0の存在、逆元の存在
スカラー倍について
部分空間の定義
Wを線形空間Vの空でない部分集合とする。次の2つが成り立つとき、WをVの部分空間といいます。
（1）Wの任意の元a, bに対して、a+bはWの元である。
（2）Wの任意の元a、任意の実数kに対して、kaはWの元である。
R2の部分空間は、原点を通る直線だけです。
R3の部分空間は、原点を通る直線と原点を通る平面だけです。
部分空間は必ず原点を含みます。
内積 inner product
p＝( a b)、q＝(x y)のとき、pとqの内積p・qは、次のように表わされます。
p・q＝ax+by
pとqが直交するとき、p・q＝０
pとqが直交しないとき、p・q≠０
p・q＝|p|・|q| cosθ
p・q＝（pのq方向の正射影ベクトル）・|q|
正規直交基底 orthonormal basis
正規直交基底とは、大きさ1の基底ベクトルが、互いに直交している基底のことです。
e1・e1＝1、e2・e2＝1、e3・e3＝1
e1・e2＝0、e2・e3＝0、e3・e1＝0
正規直交基底では、内積や大きさの計算が標準基底と同じような成分計算でできるというメリットがあります。
基底から正規直交基底を導き出す方法を、シュミットの正規直交化 Orthonormal of Schmidt といいます。
統計学ではデータを標準化することが多く重要な概念となります。
線形写像 linear mapping（線形変換 linear transformation）
y=f(x)のfは、function（関数）という意味 （プログラミングの関数と似ている）
たとえば、f(x)＝3xの場合は、xを入力すると3xが出力される関数
数学的に表現すると、関数fは、実数の集合R（左側）の要素xを、実数の集合R（右側）の要素3xに対応させる。
f：R → R
x → 3x
数学の教科書では「1次変換」という用語で呼ばれることもありますが、「2次変換」はありませんので、「線形変換」と呼ぶほうが相応しいです。
単射、全射、全単射
単射 injective function, injection：集合Aから集合Bへの1対1の写像（集合B側に対応しない要素がある）
全射 surjective function, surjection：集合Aから集合Bへの写像（集合B側のすべての要素に対応するが、重複するものもある）
全単射 bijective function, bijection：集合Aから集合Bへの完全な1対1の写像（集合Aと集合Bのどの要素も完全に1対1）
線形写像とは
2つのベクトルに対して、それぞれ先に関数fを通してから足し合わせたものと、先に足し合わせてから関数fを通したものが同じになる。
n次元ベクトル空間Rnの1つの要素を決めたとき、ベクトル空間Rmのただ1つの要素が決まるとします。これを
f：Rn → Rm
と表します。
任意のベクトルx、y、任意のkについて次式を満たすfを線形写像または1次写像という。
f(x+y)＝f(x)＋f(y)
f(kx)＝kf(x)
もしくは、
f(λx＋μy)＝λf(x)＋μf(y)
とくにn=mのとき、線形変換または1次変換と呼びます。
行列
2次元以上のベクトル空間の写像を表すものを行列であり、fの表現行列といいます。
f：R2 → R2
（x, y）→ (3x-y, x+2y)
図形的には、標準基底でOP＝xe1＋ye2と表わされる点Pを、基底a, bでOQ＝xa＋ybと表わされる点Qに移す変換
どちらも座標は(x, y)ですが、基底が異なっています。
合成写像
R2 → R2 → R2
x → f(x) → g(f(x))
x → Ax → B(Ax)
行列BとAをかけることで合成写像の表現行列ができる。（ただし、BA≠AB）
逆行列 inverse matrix
A・A{-1}＝EとなるA{-1}を逆行列といいます。
Aが逆行列を持つとき、Aは正則 regular である
Aが逆行列を持たないとき、Aは正則でない
線形変換の種類
平行移動
\[ \begin{pmatrix} a & b \\ c & d \end{pmatrix} + \left( \begin{array}{c} k \\ l \end{array}\right) \]
回転
\begin{pmatrix} cosθ&-sinθ\\ sinθ& cosθ \end{pmatrix}
拡大・縮小
\begin{pmatrix} a & 0 \\ 0 & a \end{pmatrix}
せん断
\begin{pmatrix} 1 & a \\ 0 & 1 \end{pmatrix}
対角化 diagonalization
線形代数のクライマックス的分野
線形変換fは、標準基底でOP＝xe1＋ye2と表わされる点Pを、基底a, bでOQ＝xa＋ybと表わされる点Qに移す変換
座標(x,y)は変わらず、基底を取り替えています。
基底(a,b)から基底(c, d)への基底の取替えを行う行列をPとおくと、
(c, d)＝(a,b)P
座標平面上の点が、それぞれの基底のもと、xa＋yb＝kc＋ldと表わされるとき、
P{-1}(x, y)＝(k, l)
新座標における線形変換fの表現行列Xは、P{-1}AP
固有値 eigenvalue、固有ベクトル eigen vector
R2の0でないベクトルp＝(x, y)と実数λで、Ap＝λpを満たすもの
すべての固有値の和と、元の行例の対角成分の和は等しくなります。
固有ベクトルは、大きさは定まっていませんが、方向が定まっています。
固有ベクトルは行列をかけても方向が変わらない。
対角行列 diagonal matrix
対角行列とは、正方行列の右下に向かる対角線にだけ成分が並び、対角成分以外は0になる行列のこと。
演算が非常に楽になります。
線形変換fの表現行列Aを固有ベクトルを基底として表わすと、その表現行列は対角行列になります。
対角行列の各成分には固有値が並びます。
行列の対角化とは、固有ベクトルの組を新しい基底として取ることによって、線形変換fの表現行列を対角行列にすることです。
対称行列 symmetric matrix
対称行列とは、対角線に対して対象となっている成分が等しい行列のこと。
対称行列の固有値と固有ベクトルについて、固有ベクトルは直交します。
→主成分分析での、相関行列または分散共分散行列は対称行列となるため、固有ベクトルを算出することにより、互いに直交する軸を導くことができます。
Aが対象行列のとき、Aの逆行列はAの転置行列になるので計算が楽です。（A{-1} = tA）
ジョルダン標準形
固有値が1つしかない場合は、固有ベクトルだけでは対角化できませんので、ジョルダン標準形を利用します。
ただし、統計学、社会学などで登場する行列のほとんどは対象行列ですので、ジョルダン標準形を利用する機会は少ないです。
応用編
都市部と地方の人口動態の分析
身長、体重、胸囲の3変量の主成分分析
