정사각행렬(square matrix)의 고유벡터들은 일반적으로 직교하지 않으며 이 행렬이 에르미트 행렬일 때에만 직교한다. 이는 잘 알려진 사실이다. 일단 2 * 2 행렬을 이용하여 이를 증명해보겠다.

행렬은 선형변환(linear transformation)의 연산자라 볼 수 있다. 2차원 공간 위의 한 점(또는 이를 나타내는 벡터)을 원점에 대해 회전한 후 원점으로부터의 거리를 일정한 비율로 곱해준 것으로 볼 수 있다. 변환 전의 벡터를 x, 변환 후의 벡터를 x', 선형변환 즉 행렬을 A라고 하자.

x' = Ax

여기서 x'이 x의 상수배인 경우 즉 x' = λx 일 때 λ를 행렬 A의 고유값(eigenvalue), 이때의 x를 고유벡터(eigenvector)라 부른다. 기하학적으로 생각하면 좌표평면 위의 어떤 벡터를 행렬 A로 회전 및 길이 변화를 시켜도 원래 벡터와 평행한 벡터가 되었다는 말이다. 예를 들어, 길이가 5cm인 시침만 있는 시계에서 2시를 가리키고 있는 시침을 어떤 변환에 따라 변형시켰더니 10분을 가리키는 길이가 15cm인 분침으로 변신했다는 말이다. 이때 이 변환의 고유값은 3, 고유벡터는 변환 전의 시침이다. (더 헷갈리나;;;) 만일 변환 후에 40분을 가리키는 분침이 되었다면 고유값은 -3이 된다.

그런데 이러한 벡터(Ax = λx를 만족시키는 x)는 매우 특이한 경우이고 일반적으로 n * n 행렬에 대해 n개밖에 없다. 이 특이한 벡터, 즉 고유벡터들은 서로 직교하기도 하고 하지 않기도 한다.

이제 벡터 x를 (x,y)로 쓰고 x'은 (x',y')으로 A는 (a b c d)라고 쓰자. (원래 a b는 윗줄, c d는 아랫줄에 써서 행렬로 표현해야 하는데 귀찮아서 그렇다.) 그러면

x' = ax + by
y' = cx + dy

다. 원래 이 식이 먼저고 이를 벡터 및 행렬 꼴로 바꾼게 x' = Ax인 셈이다. 지금은 고유벡터들이 직교하는지에만 관심이 있으므로 각 벡터의 x축으로부터의 각도만이 관심사다. 그리고 변환 전 벡터의 각도와 변환 후 벡터의 각도가 같다면(또는 π만큼 차이가 날 수도 있는데 일단 같은 경우만 보자) 다음과 같이 쓸 수 있다.

x' / y' = x / y 즉, (ax + by) / (cx + dy) = x / y

이 식을 만족시키는 (x,y)가 바로 고유벡터다.

c (x / y)^2 + (d - a) (x / y) - b = 0

이렇게 x / y에 관한 2차방정식을 얻었고 이 식의 두 해 (x1,y1), (x2,y2)가 고유벡터들이며 이 두 고유벡터가 직교하는지 보려면 두 벡터의 내적 즉, x1 * x2 + y1 * y2가 0이 되는지 아닌지를 보면 된다. 다시 말해서 (x1 / y1) * (x2 / y2)가 -1인지 아닌지 보면 된다. -1이라면 직교하고 그게 아니면 직교하지 않는다.

위의 2차방정식에서 x / y의 두 해의 곱은 -b / c이다. 즉 b = c이면 두 고유벡터는 직교한다는 것을 알 수 있다. b = c인 행렬을 대칭행렬이라 부르고 이는 에르미트 행렬의 특수한 경우에 해당한다. 증명 끝.

사실 이런 계산이야 하면 되는데 원래 목적은 직관적인 이해였다. 앞에서 시계 얘기를 했는데, 일반적으로 시침 벡터를 변환하면 어디를 가리키고 있을지 모른다. 시침 벡터를 살살 돌려가면서 변환 후 벡터가 시침 벡터와 겹치는지(또는 정반대의 방향을 가리키는지) 확인해본다. 시침 벡터를 조금 회전시킬 때 변환 후 벡터도 조금 회전할텐데 두 벡터의 회전 각도가 똑같다면 자신과 겹쳐질 수 없으므로 고유벡터를 찾을 수 없다.

두 벡터의 회전 각도의 비율이 1과 다르다면 두 벡터는 언젠가는 겹칠 것이다. 그렇게 두 벡터가 겹쳐지는 방향이 일반적으로 2개 나타날 것이고 그 두 방향이 서로 직교하는지를 보면 된다. 그런데 여기서 직교하는지 아닌지는 결국 위에서처럼 직접 풀어서 확인하는 수밖에 떠오르지 않는다.