[Whatever] KL Divergence - Entropy

Conclusion (What the Entropy is)

- 정보를 인코딩하는데 필요한 정보량의 기댓값

 

Information Theory에서,

- "정보"는 확률변수이다.

 ex) "날씨"라는 정보를 표현한다고 가정하면, 맑음 / 흐림 / 비 / 눈 이 "값"이 될 수 있음

- 정보는 0 또는 1의 값을 가지는 bit로 인코딩(또는 라벨링) 하고자 함.

 ex) "날씨"라는 정보를 인코딩 하기위해, 00 : 맑음 / 01 : 흐림 / 10 : 비옴 / 11 : 눈 으로 라벨링 할 수 있음

- 정보를 인코딩하는데 필요한 bit length를 정보량이라 함. 따라서, 정보량의 단위는 bit임

- 발생 확률이 높은 값에 짧은 bit 값을 할당하고, 발생 확률이 낮은 값에 긴 bit 값을 할당 한다면,

  평균적으로 송수신하는 정보량의 기댓값을 낮추는, 경제적인 인코딩 전략이 됨.

  a. h(x) ∝ 1/p(x)  ( h(x) : 정보 x의 정보량 / p(x) : 정보 x의 likelihood )

- 결국 정보량은 정보 x의 확률에 대한 함수

  b. h(x) = f(p(x))

- 서로 독립인 두 가지 정보를 인코딩 한다면, 정보량은 정보 각각을 인코딩한 정보량의 합이어야 함

  c. h(x,y) = h(x) + h(y)

- To be Continued