이전 포스트에서 Maxwell의 악마에 대해서 언급했었습니다. 그러면서 열역학적인 엔트로피로 해결되지 않는 문제가 '정보'라는 개념에 의해서 정리된다고 이야기를 했었죠.오늘은 정보가 무엇인지, 그리고 정보의 엔트로피가 어떻게 해석되는지에 대해서 알아보도록 하겠습니다.정보와 Shannon의 엔트로피(information and Shannon's entropy)먼저 정보가 무엇인지 논해보도록 하겠습니다. 정보의 사전적 정의는 관찰이나 측정을 통해서 주어진 문제를 해결하거나 판단할 수 있도록 정리된 지식이나 자료입니다. 이것은 너무 친숙한 개념이어서 쉽게 이해할 수 있습니다. 그러면 '정보가 많이 담겨있다'는 이야기를 수치적이고 정량적으로 나타내려면 어떻게 해야할까요?그 부분에 답을 하기 위해서, 다음과 같은..