[3Blue1Brown] Chapter 9 | Dot products and duality

{학습 목적}
Chapter 9에서는 내적과 이중성에 대해서 다룬다.
이 개념을 학습하는 이유는 앞에서 배웠던 직사각행렬의 개념을 적용해서 벡터와 선형변환에 대한 이중성을 이해한 후 내적이 왜 투영과 관련이 있는 지에 대해 다루기 위해서라고 생각한다. 
이 학습은 벡터를 어떤 변환의 개념적 단축 표현으로 볼 수 있는 시각을 길러주기 위해 배우는 것 같기도 하다.

 

 

<내적과 이중성>

 

 

[내적(Dot product)]

 

일반적으로 내적을 어떻게 설명하는지부터 보자. 

 

같은 차원의 두 벡터가 있을 때, 내적을 구한다는 것은 같은 좌표 값으로 짝을 지어 곱하고 모두 더하면 된다. 

 

이 계산을 기하학적으로 해석해보자

두 벡터 v,w에 투영(project)라는 개념을 도입한다. 

w 벡터를 v 벡터와 원점을 지나는 선 위로 투영(project)해보자. 

이 투영된 w 벡터의 길이에 벡터 v의 길이를 곱하는 것, 이것이 v·w 내적이다. 

이 경우에는 v 벡터와 투영된 w 벡터가 같은 방향을 가르키기 때문에 내적은 양수가 된다. 

 

w 벡터의 투사체가 v 벡터 방향과 반대이면, 내적은 음수가 된다. 

 

두 벡터가 직각을 이루는 경우, 한 벡터를 원점과 다른 벡터를 지나는 선으로 투영하면 0벡터가 되기 때문에 내적은 0이다. 

 

내적은 순서가 중요하지 않다. 

이 말의 의미는 반대로 v벡터를 원점과 w 벡터를 지나는 선 위로 투사(project)하는 것, 즉 v 벡터의 투사체의 길이에 w벡터 길이를 곱해도 같은 값을 얻게 된다.  

이러한 결과가 나오는 이유를 직관적으로 살펴보자.

 

v,w벡터가 같은 길이를 가진다면, 여기서는 두 벡터의 대칭성을 사용할 수 있다. 

그렇게 되면 w 벡터를 v 벡터 쪽으로의 투사체의 길이에 v 벡터 길이를 곱하는 것이 반대 방향(v 벡터 투사체를 w 벡터길이와 곱하는 것)으로 투사하는 것과 완전한 대칭 거울 상이다.  

 

v,w벡터의 길이가 다른 경우를 생각해보자. 

v 벡터를 2배만큼 스케일하면 2v 벡터와 w 벡터가 존재하게 되고 이 두 벡터의 대칭성이 깨진다. 

만약, w가 v로 투사하는 경우라면, 2v·w 내적 값은 정확히 v·w 내적값의 두 배가 될 것이다. 

v 벡터 길이만 2배가 됐기 때문이다.  투사된 w의 길이는 그대로이다. 

이렇게 대칭성이 깨진 경우라도, 내적 값에 영향을 주는 스케일링 효과는 2v 벡터가 w로 투사되는 경우에도 같은 것을 알 수 있다.  (투사된 2v 벡터의 길이도 2배가 되기 때문이다.)

 

 

그렇다면 도대체 숫자 상으로 좌표 값을 매칭하고 곱하고 더한 것과, 투영(투사, project)와는 무슨 관계일까?

 

[이중성(duality)]

 

이중성에 관한 설명에 들어가기 전에 다차원에서 결과 차원이 1차원의 수선이 되는 선형변환에 대해 알아보자. 

이 변환은 일종의 함수로서, 2차원 벡터를 입력 받아 숫자 하나를 내놓는다. 

선에 같은 간격으로 점이 있고, 이 선에 변환을 적용하면, 선형변환의 속성으로 인해 점들 사이의 균등 간격이 유지된다.

 기저 벡터들의 도착지가 수선의 숫자인 경우이다. 기저 벡터의 도착지는 행렬의 열이기 때문이 각 열은 하나의 숫자로 이루어진 1x2행렬이 된다. 

 

이 변환 (2차원에서 1차원으로 가는 행렬)을 벡터에 적용한다는 것은 무슨 의미일까?

i-hat은 1, j-hat은 -2인 어떤 선형변환이 있다고 하자. 

좌표값 [4,3]인 벡터가 어디로 이동하는지 알기 위해서는 4*i-hat + 3*j-hat으로 분해해서 생각해야한다.

선형성에 따르면 변환 후에는 같은 비율이여야하기 때문에 변환된 i-hat의 4배에 변환된 j-hat 3배를 더한 것과 같다.

결과적으로 좌표값 [4,3]인 벡터는 선형변환에 의해 -2에 도착하게 된다.

 

이 계산을 수치적으로 보면, 이것이 바로 행렬-벡터 곱셈이 된다. 

1x2 행렬에 벡터를 곱하는 수치 연산은 두 벡터의 내적과 똑같다는 것을 알 수 있다. 

 

1x2 행렬과 2차원 벡터 사이에는 멋진 관련성이 있다. 

벡터의 숫자 표현을 옆으로 기울여서 연관 행렬을 얻거나 또는 행렬을 세워서 연관 벡터를 얻는 연관성이다.

 

이를 기하학적으로 보면,  입력이 벡터고 출력이 숫자인 선형변환과 그 자신과의 관계인 어떤 연결성으로 볼 수 있다.

 

 

예를 들어보자

기울어진 수선에 2차원 형태의 수선의 단위 벡터(길이 1)를 생각해보자. 이 벡터를 u-hat 벡터라고 하자.

이 벡터는 아주 중요한 역할을 한다.

2차원 벡터를 이 대각선 방향의 수선에 투영하게 되면, 이건 사실상, 우리가 2차원 벡터를 입력받아 숫자를 내놓는 함수를 정의 한 것이 된다. 그 이유는 수선상에 위치하는 값, 즉 u-hat에 상수 k배를 하는 값으로 존재하게 되기 때문이다. 

이 함수는 선형적이다. 

균등 간격을 점을 가진 선이라면 수선으로 투사한 이후에도 균등간격이다.

 

이 함수를 마치 두 개의 좌표 값을 입력 받아 하나의 좌표 값으로 출력하는 것처럼 생각할 수도 있다. 

즉, 투영을 통해 2차원 벡터에서 숫자로 가는 선형변환임을 정의한 것이다. 이 변환은 1x2 행렬로 나타낼 수 있다. 

 

그려놓은 수선을 확대해서 i-hat과 j-hat이 어디로 움직이는지 살펴보자. 

 

이 움직임에서도 대칭성을 볼 수 있다.

i-hat과 u-hat 모두 단위벡터(길이 1)이여서 i-hat을 u-hat 을 통과하는 선으로 투영하는 것은 u-hat을 x축(i-hat)에 투영하는것과 완전히 대칭이다.

그래서 i-hat의 투영위치를 구할 때 u-hat을 x축(i-hat)에 투영된 위치를 구하는 것과 똑같다.  

여기서 u-hat을 x축에 투영하는 것은 그냥 u-hat의 x좌표값을 구하는 것과 똑같다.

그래서 대칭성에 의해, i-hat에서 수선으로 투영 된 위치는 u-hat의 x좌표값이 된다.  

 

j-hat의 경우에도 똑같다.

같은 이유로 u-hat의 y좌표값은 j-hat을 수선으로 투영한 위치와 같을 것이다.

 

투영 변환을 나타내는 1x2행렬은 그냥 u-hat의 좌표가 되는 것이다.(이중성)

임의 벡터의 투영은 이 행렬(u-hat의 좌표인 1x2행렬)에 임의 벡터를 곱하는 것이고, 이것은 투영 변환을 나타내는 행렬과벡터의 내적과 똑같다. 

 

이것이 단위 벡터와의 내적과 벡터를 단위 벡터로 투영한 길이로 구하는 것과 같아지는지를 설명해준다.

 

 

그럼 비-단위벡터의 경우는 어떨까? 앞에서 설명했던 투영할 때 대칭성이 깨진 경우의 개념이 적용된다. 

예를 들어, u-hat 벡터를 3배로 스케일링 해보자. 

u-hat의 구성요소는 각 3배가 된다. 

그리고 그 벡터와 연관된 행렬을 찾으려면 이전에 i-hat과 j-hat의 변환된 위치에 3배를 하면된다. 모두 선형이기 때문이다. 

이것이 의미하는 바는, 새로운 행렬을 해석할 때, 어떤 벡터를 수선 원본 (3배하기 전)에 투영한 다음, 투영 후 위치에서 3을 곱한 것이다.

 

2차원 공간에서 1차원 수선으로 가는 선형변환은 단지 대각 방향의 수선 원본의 투영만을 정의한 것이다. 

하지만 변환이 선형적이기 때문에 선형 변환은 모두 행렬(1x2행렬)로 표현할 수 있었다. 

그리고 1x2 행렬에 2차원 벡터를 곱하는 것은 그 행렬을 눕혀서 내적을 구한 것과 같기 때문에 

이 변환과 2차원 벡터가 관련있다고 하는 것이다. 

중요한 것은 결과 공간이 수선인 선형변환을 가지고 있다면. 어떤 정의든 간에, 어떤 유일한 벡터가 그 변환에 대응되고 있을 것이다. 

어떤 벡터에 변환을 적용하는 것은 벡터끼리의 내적을 구하는 것과 같음을 알 수 있다. 

 

이것이 이중성(duality)에 관한 내용이다. 

쉽게 말하자면, 어떤 대응 관계가 두 개의 수학적 대상물 사이에서 나타나는 것이다.

선형대수의 경우에는, 벡터에서 “이중”이라는 것은 그 벡터가 가진 선형변환의 성질을 말한다.

그리고 1차원으로 변환시키는 선형변환에서 이중이란, 공간 상의 특정 벡터를 의미한다.

 

 

요약하면, 내적은 투영을 이해하는데 매우 유용한 기하학적 도구이다.

벡터가 같은 방향을 가르키는지를 알아내는 데도 유용한 도구이다. 

또한 두 벡터를 함께 내적하는 것은 두 벡터 중 하나를 변환 인자로 보는 것이다.

 

• 내적?
  • 벡터 중 하나를 변환 인자 또는 투영의 대상으로 봄으로써 행렬-벡터의 곱으로 나타낼 수 있는 도구
• 이중성?
  • 선형대수에서의 이중성이란 벡터가 선형변환의 성질을 지니고 있다는 것, 선형변환이 벡터의 성질을 지니고 있다는 것, 즉 선형변환과 벡터 사이의 관계?