2. 추가적인 손실 함수(Regularization)

1. Regularization 이란

: 정규화 기법으로 알고리즘의 일반화(Generalization)을 개선하려는 모든 기법을 말합니다. 

흔히 최적화 기법에 추가적인 손실 함수를 추가하는 것을 정규화 기법이라고 부릅니다. 

그러나 regularization을 통해 loss값이 감소하기를 기대하면 안되고, 오히려 loss값이 증가할 수도 있습니다. 

다시말해, 

regularization의 목적)

loss값이 training에서 잘 줄어들지 않더라도, validation, test에서 loss가 감소하도록 한다. 

 

 

 

 

 

 

 

 

 

2. Regularization 방법 - 추가적인 손실 함수들 

1) Weight Decay

: weight의 L-2 norm (제곱한 것을 모두 더해서 루트 씌운 것; (참고: http://taewan.kim/post/norm/#l2-norm ) 을 최소화하는 기법

출처: fastcampus

weight 가 지나치게 커지면 decision boundary가 복잡해지고 overfitting이 발생할 수 있습니다. 

이때, 빨간색으로 표시된 weight dacay가 추가되면, weight가 지나치게 커지지 않고 일정 수준으로 유지되도록 하는 역할을 합니다. 

즉, loss가 조금 커지더라도 weight를 안정화시키고 overfitting의 해결방법이 될 수 있습니다.  

 

 

2) VGG Loss

출처: fastcampus

VGGNet에서 feature 추출 부분에서 content loss(컴퓨가 영상을 구분하는데 최적화된 특징들을 모아놓은 것)을 사용해서

물체를 구분하는 데에 특화된 특징을 잘 살리면 좋은 복원 결과가 될 것이라는 생각에서 출발한 방법입니다.

 

3) 화질 평가 기법 SSIM (Structure Similarity Index)

화질 평가 기법인 SSIM이 최대가 되돌록 하는 Loss를 추가하여 MSE에서 보지 않는 구조적인 특성으르 반영합니다

 

3. Regularization의 사용

Image Reconstruction 처럼 결과물에 대한 주관적인 평가가 중요한 영상 처리 알고리즘은 정규화를 적용하기 좋습니다.

https://arxiv.org/pdf/1609.04802.pdf