[Khan Academy] Least squares approximation (최소제곱법 근사)

• 이번시간에는 최소제곱법으로 근사하는 방법에 대해 알아본다.
• $A\vec{x]=\vec{b}$가 주어졌을 때 해가 존재하지 않는다는 것은 다음과 같다
  • 행렬의 열벡터에 곱해지는 가중치가 없다
  • 벡터 b가 행렬의 열공간에 존재하지 않는다

• 그렇다면 해를 구하기 위해 벡터 b에 최대한 가까운 해를 구할 수 있지 않을까?
• 열공간 위의 한 벡터 v($A\vec{x}^*$)와 벡터 b의 거리를 최소화 해보자는 아이디어가 최소제곱법 근사이다.

• 이전에 배운 내용 중 가장 가까운 해를 구하는 것에 이용한 것은 정사영이었다.
• 따라서 벡터 b를 열공간에 사영시키면 해의 근사치를 얻을 수 있을 것이다.

• $A\vec{x}^*=Proj_{C(A)}\vec{b}$라고 할 때 양 변에 벡터 b를 빼준다.
  • 여기서 $Proj_{C(A)}\vec{b}-\vec{b}$는 열공간에 직교하는 벡터가 되므로 $A\vec{x}^*-\vec{b}$에도 동일하게 적용된다.

• 열공간의 직교여공간은 전치행렬의 영공간과 같다.
• 따라서 $A\vec{x}^*-\vec{b}$의 원소도 영벡터가 된다.
• 여기서 양 변에 전치행렬을 곱한 뒤 식을 정리하면 다음과 같은 식이 나온다.

$$A^TA\vec{x}^*=A^T\vec{b}$$

 

 

• 위의 식에서 $\vec{x}^*$의 값을 구하면 근사한 해를 구하는 것과 같다.

---

본 포스팅은 칸아카데미의 선형대수학을 기반으로 작성하였습니다.

Alternate coordinate systems (bases) | Linear algebra | Math | Khan Academy