Grace's Tech Blog

1. Regularization 이란 : 정규화 기법으로 알고리즘의 일반화(Generalization)을 개선하려는 모든 기법을 말합니다. 흔히 최적화 기법에 추가적인 손실 함수를 추가하는 것을 정규화 기법이라고 부릅니다. 그러나 regularization을 통해 loss값이 감소하기를 기대하면 안되고, 오히려 loss값이 증가할 수도 있습니다. 다시말해, regularization의 목적) loss값이 training에서 잘 줄어들지 않더라도, validation, test에서 loss가 감소하도록 한다. 2. Regularization 방법 - 추가적인 손실 함수들 1) Weight Decay : weight의 L-2 norm (제곱한 것을 모두 더해서 루트 씌운 것; (참고: http://taewa..

1. Overfitting이란 데이터셋의 구성은 학습 데이터/ 검증 데이터/ 테스트 데이터로 구성되어 있습니다. - 학습 데이터: 학습 과정에 보여지고, 실제 모델을 학습하는 데에 사용되는 데이터 (50-70%) - 검증 데이터: 학습 과정에 보여지는 데이터이지만, 모델 학습에 사용하지 않고 학습이 잘 되는지 검증하는데만 사용하는 데이터( 5-15%) - 테스트 데이터: 학습 과정에서는 사용하지 않고, 학습을 마친 모델을 평가하기 위해 단 한번만 사용하는 데이터(30-50%) 이때 그림과 같이 Train set에서는 학습 점수가 잘 나오는데, Dev set에서는 잘 나오지 않을 때, 일반화가 잘 되지 않아서 overfitting이 발생했다고 볼 수 있습니다. 2. Overfitting 방지 방법 1) E..

학습목표: 합성곱 신경망(Convolutional Neural Network)와 이와 관련된 구성 요소 및 메서드를 소개 1. 합성곱 신경망에 대한 소개 https://libertegrace.tistory.com/entry/1-Basic-CNN 1. Basic CNN-1 1. 합성곱 신경망의 기본 구조는 image -> Convolutional layer/Pooling layer/Activation function 의 반복-> Flatten/Fully connected layer -> result입니다. 1) Convolutional layer란 input -> filter -> ou.. libertegrace.tistory.com 2. MNIST 분류기를 통해 배워보는 tensorflow 로 CNN구현..