본문 바로가기

DA_DS_AI_ML/Linear Algebra

(83)
[Khan Academy] Defining the angle between vectors (두 벡터 사이의 각) 이번시간에는 n차원에 있는 벡터간의 각을 구하는 방법을 알아보자. 먼저 벡터 a, b, a-b를 구하고 이를 일반 삼각형처럼 만들어본다. 삼각형의 각 변의 길이는 주어진 벡터의 길이와 동일하다. 항상 위와 같이 삼각형을 그릴 수 있다 하지만 삼각형을 이루지 못할 수 있는 경우가 있다. 바로 한 변의 길이가 다른 두 변의 길이의 합보다 큰 경우이다. 이를 삼각부등식을 통해 성립할 수 없는 것으로 증명하였다. 이제 벡터 사이의 각으로 확장해보자 세 벡터로 만들었고, 한 각이 $\theta$인 삼각형을 오른쪽과 같이 벡터의 길이로 나타낸 삼각형으로 만들 수 있다. 이 때 코사인 제 2법칙을 이용해 두 벡터 사이의 끼인각의 크기를 구하는 식을 n차원의 벡터에도 적용할 수 있도록 일반화 할 것이다. 코사인 제 2..
[Khan Academy] Vector triangle inequality (삼각 부등식) 지난 시간 코시슈바르츠 부등식을 배웠다. 이번 시간에는 코시슈바르츠 부등식을 사용해 벡터에서의 삼각 부등식을 증명하고 정의한다. $\Vert\vec{x}+\vec{y}\Vert ^2$이 있다. 이는 자기 자신을 두 번 내적한 값과 같기 때문에 $(\vec{x}+\vec{y})\cdot(\vec{x}+\vec{y})$로 나타낼 수 있다. 이 식을 전개하면 $\Vert\vec{x}\Vert ^2 +2(\vec{x}\cdot\vec{y})+\Vert{y}\Vert^2$이 된다. 이 때 벡터 x와 y를 내적한 값은 양수인지 음수인지 모르기 때문에 둘을 내적한 값의 크기보다 작거나 같게 된다. 따라서 $\vec{x}\cdot\vec{y}\leq\vert\vec{x}\cdot\vec{y}\vert\leq\Vert\..
[Khan Academy] Proof of the Cauchy-Schwarz inequality (코시슈바르츠 부등식 증명) 코시슈바르츠 부등식을 정의하고 증명해보자. $\mathbb{R^n}$에 속해있으며 영벡터가 아닌 벡터 x,y가 주어진다. 이 두 벡터의 내적값은 각 벡터의 길이(magnitude)를 곱한 값보다 작거나 같다. 만약 양변의 값이 같다면, 한 벡터는 다른 벡터의 스칼라배한 값이다. 먼저 부등식부터 증명해보자. 스칼라 t를 취하는 함수 $p(t)=||t\vec{y}\cdot-\vec{x}||\geq 0$가 주어졌다. 이 때 벡터의 제곱은 자기자신을 내적한 값과 같기 때문에 부등식 좌항을 내적할 수 있다. 이렇게 내적해 정리한 식은 $(\vec{y}\cdot\vec{y})t^2-2(\vec{x}\cdot\vec{y})t+\vec{x}\cdot\vec{x}\geq 0$이 된다. 여기서 $\vec{y}\cdot\v..
[Khan Academy] Proving vector dot product properties (내적 성질 증명) 내적의 첫 번째 성질: 교환법칙 성립 내적하고자 하는 벡터의 순서가 바뀌어도 상관 없다 증명 n차원의 벡터 v와 w가 주어진다 $\vec{v}\cdot\vec{w}$ 한 결과와 $\vec{w}\cdot\vec{v}$를 비교한다 우변의 n끼리의 값이 같은 것을 알 수 있다 ∴내적에는 교환법칙이 성립한다 내적의 두 번재 성질 : 분배법칙 증명 벡터 V, W, X가 주어졌다 $(\vec{v}+\vec{w})\vec{x}$=$(\vec{v}\cdot\vec{x}+\vec{w}\cdot\vec{x})$임을 보인다 벡터 v와 w의 합은 각 위치에 대응하는 원소끼리 더한 값이다. 이에 벡터 x를 내적한다. 벡터 v와 x를 내적한 것과 벡터 w와 x를 내적한 값을 더한다. 두 방법의 식이 모두 같은 것을 확인할 수 있..
[Khan Academy] Vector dot product and vector length 앞서 벡터를 더하는 법과 스칼라배 하는 법을 배웠다. 이번에는 벡터의 내적 (dot product) , 벡터끼리의 곱 중 하나를 배워본다. 내적 곱하기 기호를 사용해 나타낸다. 내적의 결과는 대응하는 성분끼리의 곱끼리 더한 것 => 단순한 실수값이 나오게 됨 3차원 공간을 넘어 표현하기 위한 수단으로 길이가 사용됨. (n개의 성분을 가지고 있는 벡터의 길이도 구할 수 있다) 한 벡터의 길이를 구하기 위해 각 성분을 제곱해 더한 값에 제곱근을 하면 됨 추상화에 목적이 있음 자기자신과의 내적 자기 자신과의 내적한 값의 제곱근 = 길이 길이의 제곱 = 자기 자신을 내적한 값 본 포스팅은 칸아카데미의 선형대수학을 기반으로 작성하였습니다. Vectors and spaces | Linear algebra | Mat..
[Khan Academy] Basis of a subspace (기저) Basis of a subspace n개의 벡터가 서로 선형 독립인 span을 subspace V라고 해보자. V가 span이다 : 주어진 벡터들로부터 만들수 있는 모든 가능한 linear combination의 집합이다 벡터가 서로 linear independent이다 : 벡터들의 선형결합의 유일한 해가 영벡터이다. IF 벡터 집합의 span = 부분공간 V, V를 생성 + 모든 벡터가 선형독립 -> 벡터들이 집합 S생성. =>집합 S는 부분공간 V의 Basis(기저)이다 예를 들어 집합 S의 원소인 벡터들에 다른 벡터 $v_s$가 추가된 집합 T가 있다고 하자 비록 집합 T는 선형 종속을 이루겠지만, $Span(T)=V$가 유지된다. 하지만 T는 V의 basis가 될 수 없다. (선형 독립이 깨졌기 ..
[Khan Academy] Linear subspaces (선형 부분집합) Linear subspaces $\mathbb{R^n}$의 subspace(부분집합) V의 정의 $\mathbb{R^n}$의 부분집합 $\mathbb{R^n}$에서 정의된 벡터의 부분집합일 수도 있음 V는 영벡터를 포함 V에 $\vec{x}$가 있다면, 이 벡터에 어떤 스칼라를 곱한 값 또한 V에 속한다. => 곱셈에 대해 닫혀있다 V에 있는 벡터 a,b가 있을 때 이 둘은 더한 값 또한 V에 속한다 => 덧셈에 대해 닫혀있다. ∴영벡터를 포함하는 $\mathbb{R^n}$안의 어떤 벡터들의 집합을 가지고 있고 덧셈과 덧셈에 대해 닫혀있다면 subspace가 존재하게 된다. 이를 다시 확인해 보자 벡터집합 V에 영벡터 하나만 있다고 하자. 이 때 V는 $\mathbb{R^3}$의 subspace인가?->..
[Khan Academy] Linear dependence and independence (More & Span) More on linear independence 서로 선형 종속 관계의 벡터들의 집합 S가 주어졌다. 이에 따른 필요충분조건으로 $c_1v_1 +c_2v_2+...+c_nv_n=\vec{0}=\left[\begin{matrix}0 \\... \\ 0 \\\end{matrix}\right]$을 만족시키며 어떤 $c_i$가 모두 0이 아니다. (최소한 하나는 0이 아니다) 집합 S의 벡터들이 선형 종속일 때 필요충분조건 참인지 증명 집합 S의 벡터 중 임의의 벡터 $v_1$을 다른 벡터와 스칼라 값 곱의 합으로 나타낼 수 있다고 할 때, 필요충분조건을 증명하기 위해서 $v_1=a_2v_2+a_3v_3+...+a_nv_n$의 양변에 $-v_1$을 해 보면 우변에 있는 모든 벡터들의 스칼라 중 적어도 하나는 ..