아래 '척도 없는 신경연결망'에 관한 논문을 읽으면서 생각난 논문이 있어서 간단히 소개합니다. 서울시립대의 김상우씨와 노재동 교수님이 함께 써서 작년에 PRL에 게재한 논문인데요, 모형은 다음과 같습니다.
방향성이 없는 연결망의 각 링크에는 가중치(weight)가 1씩 주어집니다. 이 연결망 위에 일정한 개수의 입자가 마구 걸어다니는데요(random walk), 각 입자는 그것이 머물러 있는 노드의 이웃들 중 하나를 랜덤하게 골라 이동하며, 입자 사이의 상호작용은 없습니다. 노드 i에서 노드 j로 입자가 하나 이동했다면, j에 연결된 모든 링크의 가중치를 1씩 늘립니다. 모든 입자가 모두 이동한 후 각 링크는 그 링크의 가중치의 역수의 확률로 끊어졌다가 다시 이어집니다. 다시 이어지면서 그 링크의 가중치는 1로 주어집니다.
이웃이 많은 노드에는 더 많은 입자가 방문하고, 그럴수록 그 노드에 붙어있는 링크들의 가중치가 높아지므로 끊어질 확률이 줄어듭니다. 잘 끊어지지 않으므로 그 링크를 통해 더 많은 입자들이 방문할 수 있는데요, 이러한 양의 되먹임이 빈익빈 부익부로 작용하여 허브를 만들어내고, 결국 척도 없는 연결망이 나타납니다. 하지만 시간이 더 흐르면서 몇몇 허브들이 링크를 사이에 두고 경쟁하다가 결국 별모양 연결망(노드 하나만 다른 모든 노드와 연결되어 있는 모양)으로 변해갑니다.
대략적인 그림은 이렇고요, 이게 아래 쓴 신경망의 시냅스 가소성과 어떻게 연결될 수 있는지 보겠습니다. 위 모형에서 연결망은 신경세포들의 연결망, 즉 신경망에 대응되고, 연결망 위를 확산하는 입자들은 시냅스에서의 전기적/화학적 신호전달이라고 볼 수도 있습니다. 입자의 이동으로 인해 두 노드 사이의 가중치가 증가하는 건, 헵의 학습규칙(Hebbian learning rule)에 대응될 수 있습니다.
다만, 위 모형에서는 입자가 도착한 노드에 붙어있는 '모든 링크'의 가중치가 모두 커지는데 이는 입자가 따라간 링크에만 가중치가 높아지는 헵의 학습규칙과는 다른 점입니다. 이 부분에서 위 논문의 저자들은 '입자가 따라 움직인 링크의 가중치만 높이는 방법'도 쓸 수 있지만 그러면 논문의 결론과는 달라진다고 하네요. 그래서 척도 없는 연결망이 나타나지 않는다는 것인지 아니면 또 다른 게 있는지는 명시하지 않았습니다.
다른 점을 하나 더 말하면, 위 모형에서 입자들은 마구 걷는데, 시냅스 사이의 신호전달이 랜덤한지에 대한 문제가 있고요. 또한 시냅스는 일반적으로 방향성이 있는데 방향성 없는 링크로 모형화할 수 있는지에 대한 문제도 있습니다. 그런데 위 논문에서도 시냅스 가소성을 언급하기는 하지만 그렇다고 꼭 그걸 하겠다는 게 아니었으므로 지금 제가 하는 말은 비판이 아니라 신경망 연구로 확장할 수 있는지를 알아보는 걸로 이해하면 되겠습니다.
