양자역학이 탄생하던 시기의 이야기는 여러 연구와 책을 통해서 잘 알려져 있다. 특히 하이젠베르크를 비롯한 괴팅겐 그룹과 취리히의 슈뢰딩거가 불과 몇 개월 사이에 각각 양자역학의 선구적인 논문을 발표했던 상황을 보면 우연히도 전혀 다른 사람들이, 거의 같은 시기에, 독립적으로, 완전히 다른 접근을 통해서 같은 도착지에 다다랐다는 느낌이 든다. 사실 그런 일은 물리학의 역사에서 종종 일어나는 일이기도 하다. 하지만 당시 두 그룹이 각각 양자역학을 발명하고 있다는 것을 알고 있었고, 심지어 두 그룹에 모두 도움을 준 사람이 있었다. 이에 대해서 이야기하기 전에, 잠시 그 시기의 숨가빴던 연대기를 되짚어 보자.

1924년 말 함부르크 대학의 볼프강 파울리는 그가 오랫동안 고민해오던 문제인, 원자 속의 전자의 상태를 분류하는 기초 원리를 완성해서 발표했다.1) 오늘날 우리가 배타 원리라고 부르는 이 원리는 1925년 1월에 논문으로 발표되었고 20년 후 파울리에게 노벨 물리학상을 안겨준다. 이 원리에 따르면 주기율표의 구조를 설명할 수 있고 비정상 제만 효과도 설명할 수 있는 길이 열린다. 7월에는 베르너 하이젠베르크가 보어의 대응 원리를 체계적으로 계산하는 방법을 개발했다.2) 하이젠베르크의 보고를 들은 괴팅겐 대학의 막스 보른은 자신의 학생인 요르단과 함께 행렬이라는 수학적 형식으로 하이젠베르크의 방법을 구현하는 방법을 9월에 발표했으며3) 다시 하이젠베르크가 합류해서 그들의 양자역학을 담은 논문을 11월에 발표했다.4) 파울리는 하이젠베르크와 긴밀하게 연락을 주고받으며 괴팅겐의 양자역학을 주시하고 있었고, 어떤 의미에서는 당사자들보다도 이를 더 잘 이해하고 있어서 괴팅겐의 양자역학을 가지고 수소 원자의 스펙트럼을 계산해냈다. 파울리의 이 논문은 다음해 1월에 발표되었다.1)

취리히 대학의 에르빈 슈뢰딩거는 아인슈타인과 교류하면서 드브로이의 물질파 이론을 연구하고 있었다. 슈뢰딩거는 원자 속의 전자를 나타내는 물질파의 파동 방정식을 구하고, 이 방정식의 해가 수소의 에너지 준위와 스펙트럼을 올바르게 준다는 것을 확인했다. 슈뢰딩거는 이 결과를 담은 논문을 1926년 1월에 발표하고 이어서 후속 논문을 잇달아 발표해서 파동역학을 확립했다.5)

영국의 케임브리지는 20세기 초 원자의 연구에서 그 어느 곳보다도 많은 업적을 남긴 곳이었지만, 1920년대의 이론 연구에서는 별다른 공헌을 하지 못하고 있었다. 그러나 케임브리지의 젊은 연구원 폴 디랙은 1925년 9월에 하이젠베르크의 논문을 읽고 영감을 받아서 혼자서 독자적인 이론 체계를 구축했다. 괴팅겐 그룹이 행렬을 이용했다면, 디랙은 이를 q-수(q-numbers)라는 새로운 방법으로 표현했다. 디랙의 첫 논문은 11월 초에 발표되었고 이후 박사 학위 논문으로 발전한다.6) 디랙의 이론은 후일 “변환 이론”이라는 이름으로 불린다.

디랙의 이론은 하이젠베르크의 논문으로부터 발전한 것이므로 별도로 친다 해도, 괴팅겐 그룹과 슈뢰딩거는 당시 특별히 교류를 하지도 않았고, 상대방의 논문에 영향을 받지도 않았으며, 심지어 알지도 못했던 것 같다. 그런데 두 그룹이 막 양자역학을 발명하고 있을 때, 적어도 한 사람은 양쪽 일을 모두 알고 있었다. 그 사람은 취리히 연방공과대학 ETH의 수학자 헤르만 바일(Hermann Klaus Hugo Weyl, 1885–1955)이다.

바일은 괴팅겐과 뮌헨에서 수학과 물리학을 공부하고, 괴팅겐에서 다비드 힐베르트를 지도교수로 해서 박사학위를 받았으며, 훗날 힐베르트가 은퇴할 때 후계자로 지명되어 괴팅겐의 수학과를 맡은, 가우스로부터 리만, 펠릭스 클라인, 힐베르트로 이어지는 괴팅겐 수학의 정통 계승자다. 괴팅겐 수학의 전통에 충실하게 바일은 수학뿐 아니라 수리과학 전반, 특히 수리물리학에 깊은 관심을 가졌고 널리 영향을 끼쳤다. 특히 바일은 1913년 아인슈타인이 재직하던 ETH에 수학과 학과장으로 부임해서 아인슈타인을 만나면서 일반 상대성 이론에 깊은 감명을 받았는데, 아인슈타인이 베를린 대학으로 떠난 후인 1917년, ETH에서 일반 상대성 이론을 강의하고, 이를 바탕으로 유명한 저서 “공간-시간-물질 Raum-Zeit-Materie (Space-Time-Matter)”을 저술하기도 했다. 게이지 이론은 바일의 물리학에의 이러한 관심으로부터 탄생한 빛나는 업적이다. 그 밖에도 바일 스피너, 바일 반금속(semimetal) 등 바일은 물리학에 끼친 업적도 워낙 많아서 물리학자들도 바일의 이름이 친숙할 것이다.

1925년에 바일은 ETH에 있었다. 사실 매우 바빴다. 그 해 1월, 2월, 4월에 각각 클래시컬 리 군의 표현론에 대한 대작 논문을 시리즈로 발표했고, 올덴부르크 출판사의 Handbuch der Philosophie의 편집자로서 여기에 실리게 될 수학과 자연과학의 철학에 대한 글을 막 준비하기 시작한 참이었다. 하지만 그는 괴팅겐 대학 수학 연구소의 객원 멤버로서 괴팅겐 학자들과의 교류 역시 계속하고 있었다. 그래서 막스 보른은 그 해 9월에 하이젠베르크의 아이디어를 양자역학으로 구현하는 과정에서 취리히로 바일을 찾아가 자신들의 양자론에 대해서 논의했다. 하이젠베르크의 아이디어의 핵심은 비가환성이다. 보른은 훗날 아인슈타인에게 보낸 서한집을 펴내며 당시의 상황에 대해 “하이젠베르크가 행한 훌륭한 계산이 실제로는 잘 알려진 행렬 계산에 불과한 것이라는 사실은 내가 이미 알고 있었기 때문이다.”라고 쉽게 이야기했지만, 물리학의 역사에 처음 등장한 비가환성을 이해하고 구현하는 일이 그렇게 간단할 리가 있겠는가. 보른은 이 문제의 수학적인 부분에 대해 바일에게 자문을 구했던 것이다.

바일은 이 문제에 크게 관심을 가졌고, 즉시 연구를 해보고 보른에게 이를 알렸다. 9월에 보른에게 보낸 편지에서 바일은 “보른 교수에게, 양자론에 대한 당신의 가설(Ansatz)은 엄청나게 감동적입니다. 수학적인 면에 대해 제가 계산을 좀 해보았는데 도움이 되길 바랍니다.”라고 하며 다음과 같은 계산을 보여주었다.7) 하나의 파라미터를 가지는 다음과 같은 리 군을 생각하는데,

\[ P( \delta )=1+ \delta p+..., \quad Q( \epsilon )=1+ \epsilon q+..., \]

여기서 \(\small P\)와 \(\small q\)는 각각의 군의 generator들이다. 이때 리 대수가 하이젠베르크가 제시한 다음 성질을 가지면,

\[pq-qp= \hbar 1\]

군의 원소인 연산자들은

\[PQ= \alpha QP, \quad \alpha = 1+ \hbar \delta \epsilon +...,\]

과 같은 관계를 보여준다. 바일은 양자역학의 교환자 관계를 군론의 입장에서 바라본 것이다.

보른은 요르단과 함께 쓴 9월의 논문을 투고하고 나서 1주일 후에 바일에게 다음과 같은 답장을 보냈다.

저희의 새 양자역학이 당신의 흥미를 끌다니 정말 기쁩니다. 최근 저희는 연구에 진전을 이뤘고, 우리 연구가 원자 구조의 가장 중요한 면을 설명해줄 것이라고 확신합니다. 당신이 우리의 수학 식들을 보아주셔서 감사합니다. 당신이 한 것만큼 우아하지는 않겠지만 우리는 이 식들을 우리 방식으로 유도했고, 이 형태로 출판하려고 합니다. 왜냐하면 당신의 방법은 물리학자들이 접근하기는 너무 어렵거든요...

보른은 행렬에 대해서는 좀 알고 있었는지 몰라도 군론에 대해서는 잘 알지 못했거나, 최소한 별 관심이 없었던 모양이다. 공통의 관심을 가진 이론물리학자와 수학자의 대화조차도 이렇게 어려운 것이다. 이후에도 바일은 괴팅겐 그룹과의 교류를 계속 이어갔고 양자역학에 관심을 유지했다.

한편 바일은 같은 취리히에서 지내며 슈뢰딩거와도 매우 가까운 사이였다. 연구와 관련된 부분뿐 아니라 철학과 생활 방식도 잘 맞았고, 두 사람뿐 아니라 가족들도 가까웠다. 심지어 바일은 슈뢰딩거의 부인 안네마리와 애정관계에 빠지기까지 했다.8) 당시 슈뢰딩거 부부는 아이가 생기지 않는 문제가 겹쳐서 이혼을 고려할 정도로 급속히 서로에게 차가워지고 있었다. 바일과 안네마리의 관계가 슈뢰딩거 부부의 문제에 원인이었는지 결과였는지는 알 수 없다.

슈뢰딩거의 파동역학은 잘 알려져 있듯이 슈뢰딩거가 혼자서 그리 길지 않은 시간을 들여서 완성한 일이다. 그러므로 애초에 이 업적에 다른 사람의 영향은 그리 크지 않다. 하지만 바일은 다르다. 1926년 1월 27일에 투고된 첫 번째 파동역학 논문을 보면 각주에 “(7)번 식을 다루는 데 도움을 주어 헤르만 바일에게 감사한다”고 되어 있다.9) (7)번 식은 수소 원자에 대한 슈뢰딩거 방정식을 푸는 과정에서 나타나는 지름 방정식이다. 지금은 모든 양자역학 교과서에서 다루는 식이지만, 당시 슈뢰딩거에게는 낯선 방정식이었던 모양이다. 어쨌든 이로부터 바일은 슈뢰딩거의 작업에 대해서도 알고 있었고, 그것도 피상적인 수준이 아니라 방정식을 푸는 데까지 관여했다는 걸 알 수 있다. 그러니까 양자역학이 탄생하는 배후에는 모두 바일이 있었던 셈이다.

물리학자의 입장에서 우리가 다음으로 던지고 싶은 질문은 괴팅겐의 양자역학과 슈뢰딩거의 파동역학 중 어느 쪽이 옳은 것인지, 혹은 두 이론의 관계는 무엇인지 등일 것이다. 그러나 양쪽 이론을 다 알고 있던 바일의 행보는 조금 달랐다. 바일은 1927년 양자역학에 대한 본인의 첫 논문인 “양자역학과 군 이론”을 발표했다.10) 또한 1927년에서 1928년으로 넘어가는 겨울학기에 ETH에서 군 이론에 대한 강의를 하면서 양자역학에 대한 내용을 포함시켰다. 이 강의는 그 해에 “군 이론과 양자역학”이라는 책으로 발표되었다. 1920년대에는 군론을 알고 있는 이론물리학자란 거의 없었을 것이므로, 당시 이런 책을 쓸 수 있던 사람은 바일이 거의 유일했을 것이다. 또한 이 책에는 수학자의 책답게 당시 폰 노이만이 추구하던 양자역학의 공리화 작업이 등장한다. 폰 노이만의 “양자역학의 수학적 원리”가 출간된 것이 1932년이므로, 양자역학의 공리화가 처음 나타난 책인 셈이다. 결국 바일은 수학자였던 것이다.