헵의 시냅스 가소성

놀라운 것은 볼츠만 머신의 학습 알고리즘이 신경과학 분야에서 심리학자 도널드 헵(Donald Hebb)까지 거슬러 올라가는 꽤 긴 역사를 보유하고 있었다는 사실이다. 헵은 자신의 저서 《행동 방식의 구성(The Organization of Behavior)》에서 두 개 의 뉴런이 동시에 발화되면 그 사이의 시냅스는 보다 강해진다고 상정했다. 반사 행동(또는 '추적')의 지속성 또는 반복성이 세포의 안정성을 증가시키는 영속적 세포 변화를 유도하는 경향이 있다고 가정해보자. 세포 A의 축색돌기가 세포 B를 흥분시킬 수 있을 정도로 충분히 근접하고 반복적 또는 지속적으로 세포 B의 발화에 가담할 때 어느 한 세포 또는 두 세포 모두에서 모종의 성장 과정이나 신진대사의 변화가 발생하고 결과적으로 세포 B를 발화시키는 세포 중 하나인 세포 A의 효율성도 증가한다. 이것은 신경과학 분야 전체를 통틀어 가장 유명한 예측일 것이다. 헵의 시냅스 가소성은 훗날 해마에서 발견되었다. 해 마는 장기 기억을 담당하는 뇌의 중요한 영역이다. 해마의 피라미드형 세포가 뉴런이 급격히 활성화되는 것과 동시에 강 력한 인풋을 수용하면 시냅스의 강도가 증가한다. 뒤이은 실험들에서 시냅스의 강도 증가는 시냅스로부터 나오는 발신 신 호의 결합과 그것을 수용하는 뉴런의 전압 상승에 기인한다는 사실이 밝혀졌다. 더 나아가, 그러한 결합 현상을 인식하는 것은 NMDA(N-메틸-D-아스파르트산) 글루타민산염 수용체라는 특별한 수용체이며 이것이 장기강화작용(LTP)을 촉발하는 것으로 밝혀졌다. 장기강화작용은 급속하게 시작되어 오랫동안 지속되므로 장기 기억의 훌륭한 기질(基質)이 될 수 있다. 헵의 시냅스 가소성은 볼츠만 머신의 학습 알고리즘과 마찬가지로 인풋과 아웃풋의 동시 발생에 의해 지배된다. 더욱 놀라운 것은 볼츠만 머신이 학습을 위해 수면 상태에 도달해야 했다는 사실이다. 볼츠만 머신의 학습 알고리즘에 는 두 가지 단계가 있었다. 첫 번째 단계, 즉 '각성' 국면에서는 인풋과 아웃풋 패턴이 요망되는 매핑에 고정된 상태에서 네 트워크의 유닛들이 평형 상태로 안정되기 위해 수없이 갱신되었다. 그리고 한 쌍의 유닛이 동시에 활성화된 시간이 계산 되었다. 두 번째 단계, 즉 '수면' 국면에서는 인풋과 아웃풋이 고정되지 않은 채 한 쌍의 유닛이 동시에 활성화되는 시간이 자유롭게 가동되는 조건에서 계산되었다. 또한 각각의 연결 강도는 각성 및 수면 상태에서 나타나는 동기율의 차이에 비 례해 갱신되었다(박스 14.2) 참조), 수면 국면의 연산 이유는 고정된 상호 연관성의 어느 부분이 외부 원인에 의한 것인지 판단하기 위한 것이다. 네트워크는 내부적으로 생성된 상호 연관성을 제외하지 않은 채 활동의 내부적 패턴을 강화하며, 외부 영향을 무시하는 법을 학습하게 된다. 네트워크가 일종의 감응성 정신병(folie a deux)에 걸린다는 의미다. 알다시피 사 람은 극도의 수면 부족 상태에 놓이면 망상 상태가 유발된다. 이것은 창문을 막고 지속적으로 조명을 켜놓는 병원 중환자 실에서 공통적으로 발생하는 문제다. 조현병 환자들은 흔히 수면장애 증상을 보이며 그래서 그들의 망상적 관념 작용이 더욱 심해진다. 우리는 인간의 뇌가 어떻게 작동하는지 이해하기 위한 우리의 연구가 제대로 진행되고 있다고 확신할 수 있었다. 볼츠만 머신으로는 해결할 수 있지만 퍼셉트론으로는 해결할 수 없는 문제가 거울면 대칭을 학습하는 방법이다.20 인간의 신체는 수직축을 기준으로 좌우대칭을 이룬다. 우리는 그런 식의 대칭축을 참고해 그림에서 보는 바와 같은 무작 위적 패턴을 다수 생성할 수 있었다. 좌우 대칭은 물론이고 상하 대칭과 대각 대칭도 생성했다. 우리는 볼츠만 머신 네트 워크에 10×10 크기의 이진 인풋들을 16개의 숨겨진 유닛에 투영한 다음 세 개의 가능한 대칭축을 각각 하나의 아웃풋 유 닛으로 삼아 3개의 아웃풋 유닛에 순차적으로 투영했다. 6,000개의 대칭적 인풋 패턴으로 훈련된 볼츠만 머신은 새로운 인풋의 대칭축을 구분하는 작업에서 90퍼센트의 성공률을 보여줬다. 퍼셉트론은 우연보다 못한 결과를 보였는데, 그 이유 는 단일 인풋에 패턴의 대칭 정보가 담겨 있지 않은데다가 한 쌍의 인풋 간 상호 연관성을 일일이 조사해야 했기 때문이다. 주목할 만한 부분은 인간의 육안으로 보는 인풋의 배열이 볼츠만 머신이 보는 그것과 같지 않다는 점이다. 볼츠만 머 신에서는 각각의 숨겨진 유닛이 특정한 순서 없이 전체 배열로부터 인풋을 수용하기 때문이다. 사람의 경우 관찰자에게 따르는 등가 문제가 배열 내 인풋 유닛의 위치를 무작위적이게 만들며 그로 인해 숨겨진 대칭이 존재하더라도 관찰자에게 는 배열이 무작위로 보이게 된다.