최대 엔트로피 원리로부터 거듭제곱 분포를 얻는데 필요한 제약조건에 대한 메모를 남기려 한다. 커버와 토마스의 [Elements of Information Theory](정보이론의 기초) 12장 초반에 나오는 얘기를 먼저 소개하겠다. 확률밀도함수 f(x)를 생각한다. 이 함수가 만족시켜야 하는 제약조건을 다음처럼 쓰겠다.
$$\int f(x) r(x) dx = a$$즉 r(x)라는 양의 기대값이 어떤 상수 a여야 한다. 이 제약조건을 제외하면 f(x)에 대한 정보가 전혀 없으므로 f(x)의 엔트로피가 최대가 되는 경우의 f(x)를 구해보자는 것이다. 이를 위해 아래와 같은 범함수를 정의한다.
$$J(f)=-\int f\ln f +\lambda_0 \int f - \lambda \int fr$$첫번째 항이 엔트로피에 해당하며 뒤의 항들은 제약조건을 나타내는 라그랑지 곱수로 보면 된다. 이 범함수를 f로 미분해서 0이 된다고 하면(즉 최대값),
$$f(x)=e^{\lambda_0-1-\lambda r(x)}$$를 얻는다. \(\lambda_0\)는 f의 틀맞춤을 위한 상수다. \(\lambda\)는 위에 쓴 제약조건을 만족시키는 상수이며, a의 함수로 얻어진다.
이제 준비는 끝났고, 거듭제곱 분포인 경우를 생각해보자. 이를테면 r(x)가 ln x 형태면 된다. (x는 양수라고 가정하자.)
$$r(x) = \ln x$$라고 하면,
$$f(x)= C x^{-\lambda}$$처럼 거듭제곱 분포가 된다. 다시 간단히 말하면,
$$\int f(x) \ln x dx = a$$라는 제약조건을 제외하고 f(x)에 대해 아는 게 전혀 없을 때 f(x)를 추정하면 거듭제곱 분포가 된다는 것이다. 그렇다면 이 제약조건이 갖는 실제적인 의미는 무엇일까. 그냥 x도 아니고 ln x의 기대값이 어떤 상수여야 한다는 말인데, 자연/사회현상에서 많이 나타나는 거듭제곱 분포에 비춰봤을 때 이 조건의 의미는 무엇일까? 나중에 시간이 되면 더 끄적여보겠다.
