인공지능과 딥러닝 - 딥러닝 최적화

정보이론

엔트로피: 확률분포 간 불확실성을 측정하는 지표

상대적으로 균등한 확률분포를 가진 주사위가 상대적으로 균등하지 않은 확률분포를 가진 윷놀이보다 엔트로피가 높음

확률x자기정보를 통해 계산할 수 있으며 단위는 비트(bit)임

 

교차엔트로피: 두 확률분포 사이의 차이를 측정하는 지표

실제 분포와 예측 분포 간의 유사성을 평가

P와 Q의 확률분포 사이를 평가하기 위해서는 P의 엔트로피+P와Q의 KL다이버전스로 표현 가능

 

평균제곱오차(MSE, Mean Squared Error)의 함정

더 많은 오차에도 적은 update값을 주는 경우가 존재

이는 활성함수로 사용하는 sigmoid나 tanh가 x값이 커지는 초반에는 기울기가 커지지만 일정 수준이 넘어가면서 다시 기울기가 작아지는 문제로 인해 야기(기울기가 완만해짐)

그렇기 때문에 일반적인 방식으로는 느린학습문제가 발생

 

교차엔트로피를 활성함수로 사용

교차엔트로피를 사용하면 상대적으로 오차가 크면 클 수록 더 큰 값을 반환하여 update value크기도 따라서 늘릴 수 있음

 

softmax 활성함수의 사용

max함수를 모방하였으나, 해당 층(layer)의 모든 출력합을 1이 되도록 만들어서 재분배

기존 max함수 사용시에는 정답node가 아닌 출력node도 값이 max가 되는 경우가 존재했었음

 

로그우도 활성함수의 사용

Oy값이 커질수록(정확할수록) 작은 값을 출력함

 

softmax와 로그우도

softmax는 최댓값이 아닌 값을 억제하여 0에 가깝게 만드려는 의도

softmax와 로그우도를 결합하여 사용하는 경우가 많음

 

모델 성능향상을 위한 요령

데이터전처리

데이터 간 규모차이 발생

모든 특징이 양수인 문제