Dimension Reduction

SVD(Single Value Dicomposition)

$A_{[mxn]}=U_{[mxn]}\sum_{[rxr]}{V_{[nxr]}}^T$

• $A$: input data matrix

• $M$: left singular vectors

• $\sum$: singular values

  • $r$(=rank of matrix): matrix의 선형 독립적인 column의 개수

• $V$: right singular vectors

n차원에서 q차원 축소시킨 $B=U_{[mx(n-q)]}\sum_{[(r-q)x(r-q)]}{V_{[(n-q)xr]}}^T$ matrix를 $B$라고 하자. 이때 우리는 적정 q를 $\sqrt{\sum_{ij}(A_{ij}-B_{ij})^2}$이 최소화되는 경우로 찾으면 된다. 이 값이 작을수록 원래 정보와 차원이 축소된 정보의 차이가 작다는 의미이기 때문이다.

만약 100차원을 줄인다고 할때 적정 차원을 알고싶으면, $r'$차원을 임의로 설정하고 $\frac{\sigma_1+...+\sigma_{r'}}{\sigma_1+\sigma_2+...+\sigma_{100}}=0.8 \ or \ 0.9$인 $r'$을 찾으면 된다.