UFLDL Tutorial 6. Supervised Learning and Optimization – Debugging: Bias and Variance
http://deeplearning.stanford.edu/tutorial/
Supervised Learning and Optimization - Debugging: Bias and Variance
지금까지 몇가지 종류의 기계학습 알고리즘을 어떻게 구현하는지 알아보았습니다. 우리가 하고자 하는 일은 훈련할 때는 사용하지 않았던 테스트용 데이터에서 우리 알고리즘이 최고의 예측 정확도를 낼 수 있도록 하는 것입니다. 그런데 트레이닝 데이터에서의 우리 알고리즘이 정확도가 테스트 데이터에서 낼 수 있는 정확도의 상한선이라는 것이 알려져 있는 사실입니니다. 때로는 운에의해 적은 테스트 데이터에서 더 나은 결과를 얻을 수 있을지라도 평균적으로는 그보다 더 안 좋게 나올 것입니다. 어떤 관점에서는 트레이닝 데이터에서 성능을 내기가 더 쉽다고 할 수 있습니다. 알고리즘이 이미 그러한 알고리즘에 특화되어 훈련이 되어있기 때문입니다. 이런 이유로 트레이닝과 테스트 정확도 간의 차이가 발생하는 것입니다.