2부의 제목은 진화적 안정성 및 동학적 분석입니다. 어떤 게임이 특정한 전략/유전자로 이루어진 내쉬균형에 도달한 후, 새로운 전략/유전자가 나타났을 때 이들이 기존 전략/유전자보다 더 높은 보수/적합도를 얻는다면 기존의 균형이 깨지고 새로운 균형에 도달하겠죠. 반대의 경우, 즉 새로운 전략/유전자가 더 낮은 보수/적합도를 얻는다면 기존 전략/유전자의 균형으로 되돌아갈 겁니다. 후자를 '진화적으로 안정하다'라고 하고 그러한 기존 전략을 '진화적으로 안정한 전략(evolutionarily stable strategy; ESS)'이라고 부릅니다.

책에서는 진화적 안정성이 정태적 개념이라고 합니다. "일단 균형에 도달한 상태"가 외부의 침입에 의해 흔들릴 거냐 아니냐의 문제이기 때문이라고 합니다. 그에 반해 임의로 주어진 초기조건이 어떤 균형에 도달할 것인가(또는 균형에 도달하지 못할 것인가)를 '복제자 동학(replicator dynamics)'을 이용해 분석하는 게 동학적 분석입니다.

비선형 동역학에서 접근하는 순서와는 조금 달라 보입니다. 비선형 동역학에서는 변화를 기술하는 운동방정식을 먼저 세우고 이로부터 시간이 변해도 달라지지 않는 고정점(fixed point)들을 먼저 찾습니다. 그리고 이 고정점들이 약간의 건드림(perturbation)에 대해 안정하냐 아니냐를 보는 안정성 분석(stability analysis)을 하지요. 이를 통해 안정한 고정점들과 불안정한 고정점들이 구분되며, 이 두 속성을 모두 갖는 안장(saddle) 고정점도 찾을 수 있습니다.

그럼, 진화적 안정성을 정의합니다. 모든 경기자가 x라는 혼합전략을 쓰고 있는 집단에 이와는 다른 혼합전략 y를 쓰는 경기자들이 전체 인구 중 μ만큼 나타났다고 합시다. μ는 0과 1 사이의 실수입니다. 여기서 x와 y는 모두 다음 Δ의 원소입니다.

$$\Delta=\left\{x\in R^K_+\Big|\sum_{k=1}^K x_i=1\right\}$$

모든 경기자가 서로 게임을 한다고 합시다. 내가 전략 a, 상대가 전략 b를 갖고 게임했을 때 내가 얻는 보수를 u(a,b)로 쓰겠습니다. 어떤 전략을 가졌든 다른 x 전략을 만날 확률은 1-μ이고 y 전략을 만날 확률은 μ입니다. 만일 x의 평균보수(아래 부등호 왼쪽)가 y의 평균보수(부등호 오른쪽)보다 크다면 x는 y의 침투를 막아낼 수 있습니다.

$$(1-\mu)u(x,x)+\mu u(x,y)>(1-\mu)u(y,x)+\mu u(y,y)$$

다른 모든 조건이 고정되어 있을 때 μ에 따라 부등식이 성립될 수 있고 아닐 수도 있습니다. 이 부등식을 만족시키는 μ의 최대값을 y에 대한 침투장벽(invasion barrier)이라 부릅니다. x 전략을 쓰는 집단이 y의 침투를 막고자 한다면 위 부등식을 만족시키는 μ의 범위가 클수록 좋습니다. 다시 말해서 y의 인구 비중이 μ의 최대값보다 커야만 x에 침투할 수 있으므로, x 입장에서 μ의 최대값은 "y에 대한" 침투장벽이 됩니다.

그런데 y가 단 한 종류만 있는 건 아니죠. x와 다른 y는 수없이 많습니다. 그 모든 y에 대해 위 부등식이 만족해야 x가 진화적으로 안정하다고 할 수 있습니다. 좀더 엄밀한 정의에는 각 y에 대한 침투장벽이 0과 1 사이에 존재해야 한다는 조건이 붙습니다. 침투장벽, 즉 μ의 최대값이 0인 경우는 단 한 경기자만 y를 택하더라도 x는 침투당합니다. 침투장벽이 1인 경우는 모든 경기자가 x를 버리고 y를 택할 때에만 x가 침투당한다는 말이죠. 애초에 μ가 0과 1 사이의 값이라고 했으니 하나마나 한 소리 같지만, 적어도 침투장벽이 0보다 커야만 x가 진화적으로 안정하다는 건 분명합니다. y마다 침투장벽 μy가 존재하고 이 값들이 모두 양수일 때, 이 중 최소값을 단일 침투장벽(uniform invasion barrier)이라 부릅니다. 단일 침투장벽이 존재하는 전략이 진화적으로 안정한 전략입니다.

여기서 x의 '진화적 안정성'은 y의 인해전술을 모두 견뎌낼 수 있다는 말이 아닙니다. y의 인구 비중이 충분히 낮은(즉 침투장벽보다 낮은) 경우만을 고려한다는 말입니다.

위 부등식을 다음처럼 분리해서 생각하기도 합니다.

1. \(u(x,x)>u(y,x)\)

2. \(\textrm{if}\ u(x,x)=u(y,x),\ u(x,y)>u(y,y)\)

이렇게 분리할 수 있는 것도 μ가 충분히 작은 값이라고 전제하기 때문입니다. 1번이 만족된다면 그것만으로 x는 진화적으로 안정하며, 만일 u(x,x)가 u(y,x)와 같아서 1번이 만족되지 않는 경우, 2번이 만족된다면 x는 진화적으로 안정합니다. 물론 이 두 조건을 모두 만족시키지 못한다면 x는 진화적으로 안정하지 않습니다.

172쪽의 명제 4는 "ESS는 NE이지만 그 역은 성립하지 않는다."고 합니다. NE 중 불안정한 전략은 ESS가 아니니까요. 그리고 위 진화적 안정성 조건의 부등호가 '크거나 같다'로 바뀌면 중립적으로 안정한 전략(neutrally stable strategy)의 정의가 됩니다.

이 장을 끝내기 전에 하나만 더 말하면, '돌연변이' y가 한 번에 한 종류씩만 x 집단에 출현한다는 전제가 깔려 있습니다. x와는 서로 다른 y와 z가 동시에 나타나는 경우는 배제한 상태에서 ESS가 정의된다는 말입니다.

다음으로 복제자 동학에 대해 논의합니다. 순수전략 i를 이용하는 개체의 비중을 xi라고 합시다. 순수전략 i는 혼합전략 hi로도 표현할 수 있다고 했지요. 이 개체의 비중은 시간에 따라 변하는데, 이 전략을 쓰는 개체들의 보수에 비례하여 커져서 다음 식처럼 x'i가 됩니다.

$$x'_i=\frac{x_iu(h^i,x)}{u(x,x)}$$

우변의 분자는 전략 i의 평균보수이고 분모는 그 평균보수들의 총합입니다. 전략 i의 비중의 변화율 또는 변화량은 다음과 같습니다. 즉 평균보수보다 높은 보수를 주는 전략은 점점 많아지고 그렇지 않은 전략은 점점 줄어듭니다.

$$\Delta x_i=x'_i-x_i=\frac{x_i}{u(x,x)}[u(h^i,x)-u(x,x)]$$

이걸 복제자 동학 방정식이라 부르며 이게 전부입니다. 나머지는 이걸 구체적인 문제에 적용시켜 분석하는 일이지요. 이 다음부터는 앞서 말한 비선형 동역학의 분석 방법이 그대로 나옵니다. 저는 비선형 동역학을 진화적 게임이론보다 먼저 접해서 이렇게 말하지만 실제 역사가 어떤지는 잘 모르겠습니다. 여튼 위 식의 좌변이 0이 되는 x가 내쉬균형이 되고 각 균형에 대해 안정성 분석을 하여 안정하다면 ESS가 됩니다. 또한 좌변이 0이 되는 x가 없는 경우도 있는데, 전략공간의 특정한 궤도를 무한히 도는 끝돌이(limit cycle) 모양의 해가 있을 수도 있습니다.

이제 3부를 읽을 차례인데, 3부의 제목은 그 유명한 "죄수의 딜레마 게임"입니다.