반응형
binary entropy의 의미 및 정보이론적 해석을 다룬적이 있다. (sosoeasy.tistory.com/356)
그렇다면 더 나아가서 cross entropy가 무엇인지를 KL Divergence를 통해서 해석해 본다.
1. KL Divergence
kl divergence는 정보량의 차이에 대한 기댓값이다.
즉 kl divergence를 그래프로 나타내면 아래와 같다.
2. KL Divergence를 이용한 cross entropy의 해석
kl divergence를 변형하면 cross entropy에 대한 식으로 정리된다.
그리고 이를 cross entropy에 대해서 정리하면 아래와 같아진다.
즉 cross entropy를 최소화하는것은 kl divergence를 최소화 하는것과 같은 것이다.
따라서 q의 확률분포를 최대한 p와 같아지도록 만드는 것이 로지스틱 회귀에서 해야하는 일인 것이다.
아래의 홈페이지에 자세하게 설명되어있다.
*출처 : curt-park.github.io/2018-09-19/loss-cross-entropy/
반응형