공간

1. Eigenvalue와 Eigenvector의 개념

우리는 Ax=b라는 식을 풀어왔다. 자꾸 Ax=b라는 식을 풀다 보니, Ax라는 것이 어떻게 생겼는지 궁금해지지 않는가?

조금 더 이 의문을 구체적으로 생각해보면...

x라는 벡터의 벡터 스페이스가 아래의 그림과 같은 원을 그린다고 하자. 

그런데 이 x라는 벡터 스페이스의 앞에 A를 곱해 줌으로서 A라는 Linear Transformation을 해 주는 거다. 그러면 Ax는 어떤 모양이 될텐데 그걸 우리는 어떤 모양인지 알 수가 없다.

하지만, 아래와 같이 x를 이루고 있던 일부 벡터(파란색 화살표)들은 

A transformation 이후에도 그 방향은 변하지 않고 크기만 변할지도 모른다.

이런 파란색 벡터를 eigen vector라고 부르고, 이 eigen vector의 변환 전과 변환 후의 크기값의 비율을  eigen value라고 한다.

보통 이 eigen value와 eigen vector 값을 알면 A를 알 수가 있다고 한다.

2. Eigen Vector와 Value의 계산

eigen vector와 eigen value를 구하기 위해서 우리는 invariant property를 이용해서 해를 찾고자 하는 시도와 유사한 방법을 사용할 것이다.

그래서 eigen vector와 eigen value를 구하기 위한 자세한 방법을 이야기 하기전에 invariant property를 구하는 방법을 살펴보려고 한다.

예를 하나 들어보자.

y''-3y'-4y=0의 해를 구하고 싶다. 그러기 위해 미분해도 변하지 않는 것중에 해가 있을 것이라고 가정해보자.그런 y는 가 있지 않은가?

그래서 우리는 y에 를 대입하여 위의 식을 푼다

그러니까

여기서

이전에 invariant property를 구할 때 위의 같은 방식을 썼듯이 이제 eigen vector와 eigen value의 값을 구하기 위해서는 다음과 같은 가정을 한다

A변환이 있은 후 Ax의 모양을 예측하기 위해서 "A변환 이후에도 방향이 변하지 않는 x 벡터가 존재" . 따라서 이런 벡터 x들은 Ax=λx를 만족함을 알 수 있다. (λ는 임의의 상수).

이 식에서 구한  λ를 eigen value,  non-zero vector x를 eigen vector라고 부른다.

Ax-λx=0

(A-λ)x=0

인데 x는 non-zero vector이니까 det(A-λ)=0을 풀어야 한다.

따라서 det(A-λ)=0는 characteristic equation이라고 볼 수 있다.

예제를 하나 풀어보자

이다! 우리 characteristic equation을 풀어보자!!

eigen value값을 2개나 구했다.

각각의 eigen value에 대해서 우리는 eigen vector의 예를 찾을 수 있다.

1.

여기의 x에다가

같은 걸 넣으면 딱 맞을 것 같다~

그러니까 λ=1일때 eigen vector의 짝은 

이다.

2.

여기의 x에다가

같은 걸 넣으면 딱 맞을 것 같다~

그러니까 λ=5일때 eigen vector의 짝은 

이다.

(그래프 추가할 예정....)

<EIGEN VECOR 와 EIGEN VALUE에서 주의해야 할 점>

Matrix의 형태와 eigen value의 개수는 무관하다.

n by b 행렬인 경우 eigen vector가 n개 나오면 후에 계산할 때 좋지만, 반드시 n개가 나오는 것은 아님.

n by n 행렬의 characteristic equation이 n차 방정식으로 나오니까 마치 eigen value가 n개 이어야 할 것 같지만, 그렇지 않다는 걸 주의해야 합니다~!!

따라서 eigen vector의 개수는 계산해 봐야 안다.

Generalized eigen vector는 이 부족한 수를 채우기 위해 만든 개념이지만 널리 쓰이지는 않는다.

2. Eigenvalue의 성질

A: n by n 이면의 개수는 최대 n개 이다.

즉,  만 존재 가능.

det(A-λI)는 n차 다항식 이다.

다음은 언제나 성립한다.

즉, eigen value들의 합은 행렬 A의 trace이고 (trace란 diagonal에 위치한 모든 원소의 합)

eigen value들의 곱은 행렬 A의 determinant이다.

- 2번성질의 증명

det(A- λI)는 n 차 다항식은 일반식으로 아래와 같이 표현할 수 있고

여기서

은 λ가 0일때 구할 수 있다.

λ가 0이라 함은, Ax=0이라는 뜻이고, x는 0이 아니니까 det(A)=0이다.

따라서 det(A)=이다.

-성질1에 대한 증명

해가 

이니까

1. Orthogonal vectors

ㅇ두 벡터가 Orthogonal(수직)이라는건 어떻게 알 수 있을까?

->두 벡터의 내적이 0이면 된다

ㅇ두 벡터의 내적이 0이라는건 무슨 뜻일까?

-> 두 벡터가 수직이라는 뜻이다.

다른 말로는 

이라는 것이다.

증명은 피타고라스 정리를 이용해서 하는데,  나중에 추가하도록 할게요...

(이건 고딩때도 너무 많이 하던거라...알거라고 생각해요...)

2. Orthogonal subspaces

두개의 Subspace가 Orthogonal하다는건 무슨 뜻일까?

이 subspace에서 아무 벡터나 잡고, 저 subspace에서 아무벡터나 잡아서 두개 내적하면 0이라는 뜻입니다. 당연히 v랑 w가 같은 스페이스 안에 있어야 합니다. (두 벡터끼리 내적은 가능해야 Orthogonal인지 아닌지 판단은 할 것은 아닙니까??? )

<Fundamental theorem of orthogonality> The row space is orthogonal to the nullspace(in n차원). The column space is orthogonal to the left nullspace(in m차원)

<Orthogonal complement>Given a subspace V of n차원, the space of all vectors orthogonal to V is called the orthogonal complement of V. It is denoted by 

1. Linear Independence(중요개념)

어떤 임의의 벡터 집합 

에 대해서 

이 되는 유일한 조건이 

이면 벡터()들은 서로 Linearly Independent 하다.

c가 모두 0이어야 한다면,  벡터 들은 서로  Linearly dependent 하다

그러면 c가 모두 0이 아니라는 것은 무슨 뜻일까?

예를 들어  

이 0이 아니라고 해보자.

그러면

이 된다.  

은 다른 벡터 ()로 표현이 가능하다는 것이다.

그러니까 벡터들이 dependent하다는 것은, 말 그대로 다른 벡터들에게 의존하여 표현될 수 있다는 것이다.

이런 벡터는 하나정도 빠져도 다른 벡터들로 조합해서 표현하면 되니까 벡터를 표현하는데는 별로 지장이 없다!

벡터들이 independent하다는 것은 반대로, 모든 벡터들이 다른 벡터들로는 표현될 수 가 없는 것이다. 

하나라도 빠지면 절대로 안된다. 하나라도 빠지면 다른 벡터로는 어떻게 조합해도 대체할 방법이 없어서 큰일이 난 상황이 된다

(갑자기 딴 소리인데, 우리도 삶에서 사람이라는 집합에서 independent한 set에 포함되면 아무도 우리를 대체할 수 없게 될까?)

2. Spanning a Subspace

벡터 스페이스 V가 모든

의 조합(combination)을 표현할 수 있으면 이 벡터들이 벡터 스페이스 V를 Span한다고 한다.

그러니까, 벡터 스페이스에 속한 모든 벡터들을 특정 벡터들의 집합으로 표현할 수 있다면 이 특정 벡터들의 집합이 벡터 스페이스를 Span 하는 것이다. 

즉, 벡터 스페이스 V에서 나온 모든 (Every) 벡터 v 는 w로 표현될 수 있다.   

(c는 계수)

3. Basis for a vector space

벡터 스페이스 V의 basis는 아래의 조건을 만족한다

1. 벡터들은 서로 Linearly independent하다.

2. 벡터들은 V를 Span한다.

이렇게 앞에서 배운 두개의 조건을 만족하면 Basis라고 보면 된다.

어떤 벡터 스페이스를 표현하는 최소한의 벡터 집합!!!!이다~

당연히 basis는 여러개가 될 수 있다. 그러니까 문제에서 어떤 벡터스페이스를 여러가지의 basis로 표현 가능하다는 것이다.

4. Dimension(차원)

Definition. Any two bases for a vector space V contain the same number of vectors. This number, which is shared by all bases and expresses the number of "degree of freedom" of the space, is the dimension of V.

해석하면. 아까 어떤 벡터 스페이스의 Basis 는 여러개가 있을 수 있다고 했는데, 그렇다고 해도 변하지 않는 것이 있다. 그것은 basis 안에 속해있는 벡터의 개수이다. 이 벡터의 개수를 바로 Dimension(차원)이라고 한다는 것이다.

여기서 어떤 사람들은 "왜! 무슨 근거로! 벡터 스페이스의 bases들의 원소 개수가 같다는 거야!" 라고 소리칠 수 있다.

증명이 있다.

Contradiction을 이용해서 증명할 거다.

1. w의 수가 v의 수보다 많다고 해보자. (n>m) 

2. v가 basis를 형성하므로, 반드시 그 스페이스를 Span해야 한다. 

3. 그러니까 모든는 v로 표현 가능해야 한다.

4. 만약  이라면, 이것은 을 첫번째 열로 가지는 A행렬의 VA곱으로 표현 가능하다. 즉, 아래와 같은 식으로 표현이 가능하다는 말이다.

이니까..

이다.

A의 원소에 뭐가 채워질지는 모르지만 A는 m by n 행렬이다.  앞에서  (n>m)이라고 가정했으므로 A는 넓은 직사각형 형태의 matrix이다.

5.  그러면 A는 pivot수가 m개 이고, 오른쪽에 한 열은 pivot이 없게 될 것이다. 즉,핵심은 여기! Ax=0는 x가 0 벡터 아니더라도 존재하게 된다. 

6. VAx=0, Wx=0이다. W에 있는 애들을 x라는 벡터의 0이 아닌원소를 가지고 잘 조합했더니 0이 나왔다. 그러면 W는 Basis가 아니다. 

7. 비슷하게 m>n일때도 그럴거다.

그러니까 m=m일때만 말이 된다!