선형대수 (8)
선형대수, George Nakos 지음, 김철언 외 옮김/인터비젼 |
8. 닷곱과 내적
8.1 직교 집합과 행렬
앞에서 두 벡터가 직교라는 것은 그것의 닷곱이 0이다라 정의하였다. 여기서는 직교인 두 벡터의 쌍으로 이루어진 집합을 다루게 된다. 그러한 집합을 직교집합이라 한다. 다음은 항등식이다.
$$(Au) \cdot v = u \cdot (A^T)v$$
직교집합
만약 $ S = \{ v_1, v_2, v_3 \} $ 가 직교집합이라 한다면, 모든 가능한 쌍 $ \{ v_1, v_2 \}, \{ v_2, v_3 \}, \{ v_1, v_3 \} $은 모두 직교해야만 한다.
정리 1
$ S = \{ v_1, \dots, v_k \} $를 영 아닌 벡터의 직교집합이라고 하자. 만약 $ u = c_1 v_1 + \dots + c_k v_k $ 으로 $ u \in \text{Span}(S) $이면,
$$c_i = \frac{u \cdot v_i}{v_i \cdot v_i}, i=1, \dots, k$$
이다.
사실 이 스칼라 $ c_i $는 u가 Span(S)에 속하지 않더라도 정의될 수 있다.
정리 2
영 아닌 n-벡터의 임의의 직교집합 $ S = \{ v_1, \dots, v_k \} $는 일차독립이다.
영 아닌 직교집합은 그것의 Span의 기저이고, 때문에 그 계수는 일의적으로 결정된다. 만약 $ R^n $의 부분공간 V의 기저가 직교집합이면 그것을 직교기저라고 한다.
정리 3
B의 $ R^n$ 의 부분공간 V의 직교기저라고 하자. V의 벡터 u가 B의 각각의 벡터에 직교하면, u = 0 이다.
정리 4
만약 m * m 행렬 A의 열이 직교집합을 형성하면, $ A^T A $는 n * n 대각행렬이다. 다시 말하면, $ A = \big[ v_1 \dots v_n \big] $ 이라고 할 때
$$A^T A = \begin{bmatrix}
||v_1||^2 & 0 & \dots & 0 \\
0 & ||v_2||^2 & \dots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \dots & ||v_n||^2
\end{bmatrix}$$이다. 역으로 위 식이 성립하면 A의 열은 직교집합을 형성한다.
정규직교집합
벡터의 집합이 정규직교(orthonomal)이라는 것은 그것이 직교이고 단위벡터로 이루어졌을 때이다. 정규직교집합으로 이루어진 $ R^n$의 부분공간 V의 기저를 정규직교기저라고 한다.
정리 5
만약 $ S = \{ v_1, \dots, v_k \} $가 $ R^n $의 부분공간 V의 정규직교기저이면, 각각의 n-벡터 u는 $ u = (u \cdot v_1) v_1 + \dots + (u \cdot v_k) v_k $으로 일의적으로 나타낼 수 있다.
정리 6: 베셀의 부등식
$ S = \{ v_1, \dots, v_k \} $를 정규직교 부분집합(기저일 필요는 없음)이라고 하고 u를 임의의 n-벡터라고 하면, $ ||u||^2 \geq (u \cdot v_1)^2 + \dots + (u \cdot v_k)^2 $
이다.
정리 7
m * n 행렬 A의 열이 정규직교집합을 이룰 필요 충분 조건은 $ A^T A = I $이다.
직교행렬
정리 8
정사각행렬 A가 직교일 필요충분조건은 $ A^T A = I $ 혹은 $ A^{-1} = A^T $
정리 9
A를 n* n 행렬이라고 하다면, 다음은 동치이다.
- A는 직교행렬이다.
- 임의의 n-벡터 u, v에 대하여 $ Au \cdot Av = u \cdot v $이다.
- 임의의 n-벡터 v에 대하여 $ ||Av|| = ||v|| $ 이다.
정리 10
- 만약 A와 B가 m * n 직교행렬이면, AB도 n * n 직교행렬이다.
- 만약 A가 직교행렬이면 $ A^{-1} $도 직교행렬이다.
정리 11
만약 $ \lambda $가 직교행렬 A의 고유값이면, $ || \lambda || = 1 $ 이다.
8.2 직교사영 : 그램-쉬미트 과정
직교여공간
정리 12
n-벡터 u가 $ V = \text{Span} \{ v_1, \dots, v_k \} \subset R^n $에 직교일 필요충분조건은 $ u \dot v_i = 0, i = 1, \dots, k $ 이다.
정의
V에 직교하는 모든 n-벡터의 집합을 V의 직교여공간(orthogonal complement)이라고 하고, $ V^{\perp} $로 표시한다.
정리 13
V를 $ R^n $의 부분공간이라고 하면, 다음이 성립한다.
- $ V^{\perp} $ 는 $ R6n$의 부분공간이다.
- $ (V^{\perp})^{\perp} = V $이다.
정리 14
A를 m * n 행령이라고 하자. 그러면 $ (\text{Col}(A))^\perp = \text{Null}(A^T) $ 이다.
행을 열로 교체하여도 $ (\text{Row}(A))^\perp = \text{Null}(A) $ 이다.
직교사영
정의
u를 n-벡터라 하고 V를 $ B = \{ v_1, \dots, v_k \} $가 직교기저인 $ R^n $의 부분공간이라고 하자. 그러면 V위의 u의 직교 사영은 아래와 같다.
$$u_{pr} = \frac{u \cdot v_1}{v_1 \cdot v_1} + \dots + \frac{u \cdot v_k}{v_k \cdot v_k} v_k$$
여기서 차이 $ u_c = u - u_{pr} $을 V에 직교하는 u의 성분이라고 한다.
$$u_c = u - \frac{u \cdot v_1}{v_1 \cdot v_1}v_1 - \cdots - \frac{u \cdot v_k}{v_k \cdot v_k} v_k \\
u = u_{pr} + u_c$$
정리 15: 최적근사
앞의 표기법으로, $ u_{pr} $이 아닌 V의 임의의 벡터 v에 대하여
$ || u_c || = || u-u_{pr} || \lt ||u - v||$ 이다.
그램-쉬미트 과정
정리 16: 그램-쉬미트 과정
$ R^n$의 임의의 부분공간 V는 적어도 하나의 직교기저와 적어도 하나의 정규직교기저를 가진다. 만약 $ B = \{ v_1, \dots, v_k \}$가 V의 임의의 기저이면 $ B' = \{ u_1, \dots, u_k \} $는 직교기저이다. 여기서,
$$u_1 = v_1$$
$$u_2 = v_2 - \frac{v_2 \cdot u_1}{u_1 \cdot u_1}u_1$$
$$u_k = v_k - \frac{v_2 \cdot u_1}{u_1 \cdot u_1}u_1 - \cdots - \frac{v_k \cdot u_{k-1}}{u_{k-1} \cdot u_{k-1}}u_{k-1}$$
이고
$$\text{Span} \{ v_1, \dots, v_i \} = \text{Span} \{ u_1, \dots, u_i \}, i = 1, \dots, k$$
이다.
정규직교 기저 $ B'' $ 는 $ B'$를 정규화하여 얻어진다.
정리 17
V를 $ R^n $의 임의의 부분공간이라고 하자. 그러면 $ V \cap V^{\perp} = \{ 0 \} $ 이다.
정리 18: 직교분할
u를 임의의 n-벡터라 하고 V를 $R^n$의 임의의 부동곤간이라고 하자. 그러면 u는 항상 V위의 직교사영 $u_{pr}$과 V에 직교인 성분 $ u_c $를 가진다.
$$u = u_{pr} + u_c, u_{pr} \in V, u_c \in V^{\perp}$$
직교기저가 알려져 있을 때, $ u_{pr}, u_c $는 계산될 수 잇다. 또한 위의 분할은 일의적이다.
8.3 QR인수분해
QR인수분해
정리 19: QR인수분해
A를 열이 일차독립인 m * n 행렬이라고 하자. 그러면 $ A = QR $으로 인수분해될 수 잇다. 여기서 Q는 열이 정규직교인 행렬이고 R은 가역 위삼각행렬이다.
고유값에 대한 QR방법
알고리즘: QR방법
입력 $ |\lambda_1| \lt lambda_2| \lt \dots \lt lambda_n|$
을 만족하는 고유값을 갖는 n * n 가역행렬 A
- $ A_0 = A $이라고 둔다.
- i=1 ~ k-1에 대하여
(a) $ A_i $의 QR분할를 계산한다. $ A_i = Q_i R_i $
(b) $ A_{i+1} = R_i Q_i $
출력: $A_k $ 은 A의 모든 고유값을 대각성분으로 하는 위삼각행렬 R에 근사한다.
8.4 최소제곱
최소제곱문제의 해
정리 20
임의의 m * n 행렬 A와 임의의 m-벡터 b에 대하여 Ax =b의 최소제곱해 $ \tilde{x} $가 존재한다. 저욱이 만약 $ b_{pr} $가 Col(A)위의 b의 직교사영이면, $ A \tilde{x} = b_{pr} $이다.
정리 21: 최소제곱해
A를 m * n 행렬이라고 하자. 그러면, Ax = b의 최소제곱해 $\tilde{x}$는 항상 존재한다.
- $ \tilde{x} $가 Ax = b 의 최소제곱해 일 필요충분조건은 표준방정식 $ A^T A \tilde{x} = A^T b $ 해일 경우이다. 이 때, 최소제곱 오차는 $ || \Delta || = |\ b - A \tilde{x} $ 이다.
- A가 일차독립일 열을 가질 필요충분조건은 $ A^T A $는 가역인 경우이다. 이 경우 최소제곱해는 일의적이고 그것은 $ \tilde{x} = (A^T A)^{-1} A^T b $이다.
QR인수분해로써 최소제곱
정리 22
만약 A가 열이 일차독립인 m * n 행렬이고 A = QR이 QR인수분해라면, Ax = b의 일의적 최소제곱해는 이론적으로, $ \tilde{x} = R^{-1}Q^T b$ 이고, 이것은 $ R \tilde{x} = Q^T b $를 풀어서 계산한다.
8.5 대칭행렬의 직교화
행렬 A가 대칭이라고 하는 것은 대각 성분을 제외한 임으의 성분은 주 대각성에 대하여 mirror image를 가지는 것이다. 바꾸어 말하면 $ A^T = A $이다. 따라서 A는 정사각행렬이다. 만약 A가 대각화 가능이면 열이 n개인 일차독립 고유벡터로 만든 가역행렬 P와 대응하는 대각행렬 D가 존재한다. $ P^{-1}AP = D $
여기서는 P가 직교행렬이 될 수 있는 대각화 가능 행렬에 관심이 있다.
정의
행렬 A가 직교적으로 대각화 가능이다라는 것은 Q가 직교가 되도록 가역행렬 Q와 대각행렬 D에 의해 A가 대각화 될 수 있을 때이다. $ Q^{-1}AQ = Q^T A Q = D $ 일반적으로 두 행렬 A, B가 직교적으로 상사라고 하는 것은 직교행렬 Q가 존재하여 $ Q^{-1}AQ = Q^T A Q = B $일 때이다. 따라서 직교적으로 대각화 가능 행렬은 대각행렬에 직교적으로 상사인 행렬이다.
정리 23
직교적으로 대각화 가능 행렬은 대칭이다.
정리 24
실수 대칭행렬은 실수 고유값만을 가진다.
정리 25
대칭행렬 A의 서로 다른 고유값에 대응하는 임의의 두 고유벡터는 직교한다.
정리 26: 슈어의 분해
오직 실수 고유값만을 갖는 임의의 정사각행렬은 위 삼각행렬 T에 직교적으로 상사이다. 따라서 $ Q^T A Q = T $인 직교행렬 Q와 삼각행렬 T가 존재한다.
정리 27: 스펙트럼 정리
정사각행렬이 실수 대칭일 필요충분조건은 그것이 직교적으로 대각화 가능일때이다.
알고리즘: 대칭행렬의 대각화
입력: n * n 대칭 행렬 A
- A의 모든 고유값을 계산한다. $ \lambda_1, \dots, \lambda_k $
- 각각의 고유공간 $ E_{\lambda i}, i = 1, \dots, k $의 기저 $ B_i $를 구하여라.
- 만약 필요하다면 각각의 $ B_i$에 대하여 그램-쉬미트 과정을 적용하여 직교집합 $ B'_i $를 얻는다. 그러면 $ B'_i $는 $E_{\lambda i} $의 직교기저를 형성한다.
- $ u_1, \dots, u_n $을 $ B'_1, \dots, B'_n $의 벡터라고 하자. 이것은 A의 고유벡터의 기저를 형성한다.
- $ v_1, \dots, v_n $을 $ u_i $의 정규화라고 하자. 이것은 A의 고유벡터의 정규직교기저를 형성한다.
- $ Q= \big[ v_1, \dots, v_n \big]$이라고 하면 Q는 직교행렬이다.
- 대응하는 고유값을 성분으로 하는 대각성분 행렬을 D라고 하자.
- Q와 D는 A를 직교적으로 대각화한다.
출력: $ Q^T A Q = D $를 만족하는 직교행렬 Q와 대각행렬 D
8.6 이차형식과 원추곡선
이차형식(quadratic form)은 행렬곱 $ x^T A x $로 쓸 수 있다. 이 때 A를 그 형식의 따름행렬(associated matrix)라고 한다. A는 주로 대칭행렬인 폼을 택하는데 그 이유는 직교적으로 대각화 가능하다는 성질 때문이다.
정의
이차형식은 적당한 대칭 n * n 행렬 A와 임의의 n-벡터 x에 대하여 $ q(x) = x^T A x $인 꼴의 함수 $ q: R^n \rightarrow R $이다. A를 q의 따름행렬이라고 한다.
이차형식의 대각화
임의의 이차형식 $q(x) = x^T A x $이 있을 때, 이를 직교적으로 대각화 하는 행렬 Q와 D가 있다고 하자. $ x = Qy $라고 정의한다면 이를 이용하여 다음을 얻을 수 있다.
$$q(x) = x^T A x = (Qy)^T A (Qy) = y^T Q^T A Q y = y^T D y$$
정리 28: 주축 정리
A를 Q와 D에 의해 직교적으로 대각화 가능인 n * n 대칭행렬이라고 하자. 그러면 변수 변환 $ x = Qy $는 이차형식 $ q(x) = x^T A x $를 교차항을 가지지 않는 $ y^T D y $의 형식으로 변화시킨다. 사실 $ \lambda_1, \dots, \lambda_n$은 A의 고유값이고 만약 $ y = (y_1, \dots, y_n )$이면,
$$q(x) = q(y) = y^T D y = \lambda_1 y_1^2 + \dots + \lambda_n y_n^2$$
이다.
양과 음의 정부호 이차형식
정의
$ q(x) = x^T A x $를 A가 대칭인 이차형식이라고 하였을 때,
- 모든 $ x \neq 0 $에 대하여 $ q(x) \gt 0 $ 이면 q를 양의 정부호(positive definite)이라고 한다.
- 모든 $ x \neq 0 $에 대하여 $ q(x) \lt 0 $이면 q를 음의 정부호(negative definite)이라고 한다.
- 만약 $q(x)$가 양과 음의 값을 모두 가지면 q를 부정부호(indifinite)라고 한다. 이는 일반적인 대칭행렬 A에 대해서도 같은 용어를 사용한다.
- 만약 $ q(x) \geq 0, q(x) \leq 0$ 인 경우에는 양과 음의 준정부호(semidefinite) 이차형식과 대칭행렬이 된다.
정리 29
A가 대칭행렬인 이차형식일 경우,
- 양의 정부호일 필요충분조건은 A의 모든 고유값이 0보다 클 때이다.
- 음의 정부호일 필요충분조건은 A의 모든 고유값이 0보다 작을 대이다.
- 부정부호일 때 필요충분조건은 A가 양과 음의 고유값을 가질 때이다.
8.7 특이값 분해(SVD)
LU, QR, 대각화, 직교적 대각화, 슈어분해 등 특별한 성질의 행렬 인수분해가 존재한다. 이들의 요소 중 어떤 것이 직교행렬로 분해될 때 특별히 관심을 가질만하다. 그 이유는 놈과 각을 보전하기 때문이다.
SVD(Singular value decomposition)은, 임의의 m * n 행렬 A를 $ A = U \Sigma V^T $로 분해하는 것이다. 여기서 m * m 행렬 U와 n * n 행렬 V는 모두 직교이며, $ \Sigma $는 크기가 감소하는 양의 성분을 갖는 위 대각 행렬이다.
정리 30
A를 m * n 행렬이라 하고 $ \sigma_1, \dots, \sigma_r $을 영이 아닌 모든 특이값이라고 하자. 그러면 직교 행렬 U (m * m), V (n * n)와 특이값으로 구성된 대각행렬 $ \Sigma $가 존재하여, $A = U \Sigma V^T$를 만족한다.
정리 31
$ U, \Sigma, V $를 m * n 행렬 A의 특이값분해라고 하자.
- A의 계수는 r이다.
- $ \{ u_1, \dots, u_r \} $은 Col(A)의 정규직교기저이다.
- $ \{ u_{r+1}, \dots, u_m \} $은 Null($A^T$)의 정규직교기저이다.
- $ \{ v_1, \dots, v_r \} $은 Row(A)의 정규직교기저이다.
- $ \{ v_{r+1}, \dots, v_n \} $은 Null(A)의 정규직교기저이다.
유사역
정의
$ A = U \Sigma V^T $를 m * n 행렬 A의 SVD이라고 하자. A의 유사역(pseudoinverse) 또는 무어-펜로즈 역(Moore-Penrose inverse)는, $ A^+ = V \Sigma^+ U^T $로 주어지는 $ A^+ $이다. 여기서 $ \Sigma^+ $는 A의 양의 특이값을 역수로 갖는 대각행렬이다.
SVD와 최소제곱
정리 32
최소제곱 문제 $ Ax = b $는 $ \tilde{x} = A^+ b $으로 주어지는 최소길이의 일의적 최소제곱 해 $ \tilde{x} $를 가진다.
정사각행렬의 극 분해
정리 33: 극 분해
임의의 정사각행렬 A는 $ A = PQ $로 인수분해될 수 있다. P는 양의 준정부호이고 Q는 직교이다.
8.8 내적
기본 항등식과 부등식
정리 35
$ || u - v||^2 = ||u || ^2 + || v ||^2 + 2 \lt u, v \gt $
정리 36: 평행사변형 법칙
$ || u + v||^2 - || u - v ||^2 = 2 ||u || ^2 + 2 || v ||^2 $
정리 37: 극화 항등식
$ \lt u, v \gt = \frac{1}{4} ||u + v ||^2 - \frac{1}{4}|| u - v ||^2 $
정리 37: 피타고라스 정리
u와 v가 직교인 필요충분 조건은 $ ||u+v||^2 = ||u||^2 + ||v||^2$이다.
코시-슈바르츠-부니야코프스키 부등식
정리 39: CSBI
$ | \lt u + v \gt | \leq ||u|| ||v|| $, 나아가 등식이 성립하려면 u와 v는 서로 상수배일 때이다.
정리 40: 삼각부등식
$ || u + v || \leq ||u|| ||v|| $