차원 축소 - 개요
차원의 저주
샘플 각각이 과도한(수천 ~ 수백만 개의) 특성을 갖게 되어 훈련을 느리게 하고 좋은 솔루션을 찾기 어렵게 만드는 문제. 과대 적합의 위험이 커진다.
2D 매니폴드
고차원 공간에서 휘어지거나 뒤틀린 2D 모양. 부분적으로 보았을 때는 2D 평면으로 보이지만 실제로는 3차원 이상의 공간에서 말려 있거나 뒤틀려 있는 형태.
매니폴드 가정
처리해야 할 작업(분류나 회귀 등)이 저차원의 매니폴드 공간에 표현되면 더 간단해질 것이라는 가정 하지만 이 가정이 항상 유효하지는 않다.
차원 축소의 장단점
- 훈련 속도가 빨라진다.
- 잡음이나 불필요한 세부사항을 걸러내어 성능을 높일 수 있다.
- 데이터 시각화에 유용하다.
- 일부 정보가 유실되므로 성능은 조금 나빠질 수 있다.
- 작업 파이프라인이 조금 더 복잡해지고 유지 관리가 어려워진다.
일반적으로는 훈련 속도만 빨라지며 따라서 차원 축소를 적용하기 전에 먼저 원본 데이터로 훈련이 느린지 확인해볼 필요가 있다. 차원을 축소하여 더 낫거나 간단한 솔루션이 되는가 하는 것은 전적으로 데이터 세트에 달려있다.