1.Introduction

목적함수의 예 

1) MSE : 예측과 실제 값 사이의 평균 제곱 오차. 

2) Binary_crossentropy : 이진 로그 손실. 

3) Categorical_crossentropy : multiclass 로그 손실. 예측 분포를 참 분포와 비교하고 참 부류에 대한 확률은 1로 설정, 나머지는 0으로 설정. 

 

Metrics(척도)의 예 

1) Accuracy(정확도) : 타깃 대비 정확히 예측한 비율을 정의 

2) Precision(정밀도) : 긍정으로 예측한 것 중 실제로 참인 것의 비율

3) Recall (재현율) : 올바로 예측한 것(참은 긍정, 거짓은 부정으로 예측) 중 긍정으로 예측한 것이 실제로 참인 비율을 의미. 

 

훈련 데이터에 내재된 모든 관계를 포착하려다 모델이 지나치게 복잡해질 수 있고 이러한 복잡도의 증가는 부정적인 결과를 초래할 수 있음.

1) 복잡한 모델은 훈련 데이터에서는 매우 우수한 성과를 달성할 수 있지만 검증 데이터에서는 상당히 나쁜 성과를 거둘 수 있음.

2) 복잡한 모델을 실행하려면 상당히 시간이 소요될 수 있음. 

 

정규화 

1) L1 정규화(LASSO) : 모델의 복잡도는 가중치 절댓값의 합으로 나타낸다. 

2) L2 정규화(Ridge) : 모델의 복잡도는 가중치 제곱의 합으로 나타낸다.

3) Elastic 정규화 : 모델의 복잡도는 앞 두 기법의 조합으로 나타낸다. 

정규화를 사용하면 과적합이 분명한 상황에서 신경망의 성능을 향상시킬 수 있음. 

 

Batch Normalization 

훈련 과정에서 각 계층은 모든 배치마다 가중치를 지속적으로 다른 분포로 다시 조정해야 함. 이로 인해 모델의 훈련속도가 크게 떨어질 수 있으므로 각 배치와 각 에폭에 대해 계층 입력이 좀 더 유사한 분포를 갖게하도록 하는 것. 또한 시그모이드 활성화 함수가 0 근처에서는 잘 작동하지만 값이 0에서 상당히 멀어지면 고착되는 경향이 있어 해당 뉴런이 가중치를 갱신할 수 없는 경우가 발생. 따라서 계층 출력을 0에 가까운 가우시안 분포 단위로 변환하여 계층에서 배치 사이의 변형을 크게 줄일 수 있음. 배치 정규화를 통해 다른 계층에서도 훈련과정에서 매개변수가 최적화 되어 활성화 속도가 너무 작아 없어지거나 너무 커져 폭발하는 것을 방지하는데 도움이 됨. 따라서 훈련 속도와 정확도를 모두 높일 수 있는 효과적인 방법임.