자코브 베르누이는 동전을 여러 번 던지면 앞면과 뒷면이 나오는 비율이 50:50에 가까워진다는 것을 증명해냈다. 그가 이것을 증명하는 데는 20년이라는 긴 시간이 걸렸다. 하지만 증명하나마나 이 확률의 결과는 뻔하다. 왜 베르누이는 굳이 이것을 증명하려 했을까? 그리고 이것을 증명하기까지 왜 이렇게 오랜 시간이 걸렸을까?

고대 이집트인과 바빌로니아인들이 구체적인 예와 문제들을 연구하는 것에 만족한 반면, 그리스인들은 공통적으로 적용되는 정리나 공리에 따른 증명을 요구했다. 어떠한 생각이 진실임을 증명하기 위해서는 논리적인 이론으로 설명할 수 있어야 한다. 왜냐하면 모든 경우의 수를 대입할 수는 없기 때문이다. 예를 들어, 모든 직각 삼각형에 피타고라스의 정리를 대입해볼 수는 없다.

증명은 수학적 진술과 대상 사이에서 의미 있는 논리 관계를 찾아내는 것을 목적으로 한다. 이미 증명된 피타고라스의 정리라 할지라도 다른 새로운 방법으로 증명될 여지가 얼마든지 있는 것이다. 시간이 지나면서 더욱 간단한 증명 방법을 발견하면, 이전에 사용하던 복잡한 증명 대신 사용할 수 있다.

오랫동안 믿어온 정리와 공리를 시험하고 증명을 시도한 결과 수학에 많은 발전이 이루어졌다. 예를 들어 유클리드의 다섯 번째 가설을 둘러싼 논쟁으로 기하학은 더욱 발전하게 되었으며 궁극적으로는 19세기에 새로운 비유클리드 기하학이 만들어지는 원동력이 되었다.

수학과 철학이 만난 19세기 말에는 수학적 증명이 점점 더 철저하게 이루어졌다. 수학자와 일부 철학자들은 논리를 위한 체계적인 기호를 사용하게 되었다. 집합론이 발달하면서 논리적인 관계를 표현하는 방법과 수를 전혀 사용하지 않고도 개념을 다룰 수 있는 방법이 필요했다. 집합론은 수학적 정리를 증명하는 유용한 수단이 되기도 했다.

믿기지 않는 증명

몬티 홀의 역설은 사람들이 상식적으로 받아들이기에는 어려운 증명을 만들어냈다. 미국 게임 쇼 진행자의 이름을 딴 이 역설의 내용은 다음과 같다.

당신이 게임 쇼에 출연하게 되었다고 가정해보자. 스튜디오 중앙에 문 세 개가 있는데, 두 개의 문 뒤에는 염소가 있고 나머지 문 뒤에는 자동차가 있다. 진행자가 당신에게 그중 하나를 고르라고 말한다. 당신이 1번 문을 선택하면 모든 상황을 알고 있는 진행자는 당신이 선택한 문 대신 염소가 있는 3번 문을 열어 보인 뒤 당신에게 말한다. “지금 2번 문으로 바꾸셔도 됩니다. 바꾸시겠습니까?”
만약 당신이 문을 바꾼다면 자동차를 얻을 수 있는 가능성이 높아질까?(이 문제는 당신이 염소보다 자동차를 원한다는 것을 전제로 한다.)

대부분의 사람들은 문을 바꾸더라도 자동차를 얻게 될 확률에는 아무 변화가 없다고 말한다. 하지만 수학자들은 문을 바꿀 경우 자동차를 얻게 될 확률이 높아진다고 말한다.

처음 1번 문을 선택했을 때 당신이 자동차를 얻게 될 확률은 1/3이었다. 물론 다른 문을 선택하더라도 마찬가지이다.

이제 당신이 처음에 선택한 문을 바꾸지 않는 경우를 생각해보자. 당신이 1번 문을 선택했을 때 마침 그곳에 자동차가 있었다면 당신은 자동차를 받을 수 있다. 하지만 자동차가 2번이나 3번 문에 있다면 처음의 선택을 고수할 경우 자동차를 받을 수 없다. 그러므로 진행자가 어떤 문을 열어 보여주든지 자동차가 있는 문을 고를 확률은 여전히 1/3이 되는 것이다. 즉, 선택한 문을 바꾸지 않았을 경우에는 맨 처음에 자동차가 있는 문을 정확히 골랐을 때에만 자동차를 얻을 수 있다.

하지만 선택을 바꾸면 확률은 2/3로 높아진다. 당신이 처음에 1번 문을 선택했는데 자동차가 마침 1번 문 뒤에 있었다면, 남은 두 개의 문 뒤에 염소가 있을 것이므로 진행자는 그중 하나를 골라 보여주고 선택을 바꾼 당신은 나머지 하나를 고르게 된다. 따라서 이 경우에는 자동차를 받을 수 없다. 그런데 2번이나 3번 문에 자동차가 있을 경우에는 당신은 무조건 자동차를 받을 수 있다. 처음에 1번 문을 선택했고 자동차는 2번 문 뒤에 있다면 진행자는 염소를 보여주기 위해 어쩔 수 없이 3번 문을 열 수밖에 없다. 이때 당신은 선택을 바꿔 2번 문을 고르게 될 것이므로 무조건 자동차를 받을 수 있게 된다. 자동차가 3번 문 뒤에 있을 때도 마찬가지다.

1번 문을 고른 뒤 선택한 것을 바꾸지 않았을 때의 확률(1/3)

ⓒ 돋을새김 | 저작권자의 허가 없이 사용할 수 없습니다.

1번 문을 고른 뒤 선택한 것을 바꾸었을 때의 확률(2/3)

ⓒ 돋을새김 | 저작권자의 허가 없이 사용할 수 없습니다.

사실 이 문제는 겉으로 보이는 것과 다르다. 얼핏 생각하면 염소가 있는 문을 이미 확인했으므로 선택을 바꾸든 바꾸지 않든 자동차를 얻게 될 확률은 1/2로 똑같아 보인다. 이 문제의 함정은 당신의 선택은 무작위로 이루어지지만 진행자는 어느 문 뒤에 자동차가 있는지를 안다는 것이다. 만약 당신이 문을 선택한 뒤에 진행자가 나머지 문을 무작위로 선택해서 우연히 염소가 있는 문을 열었다면, 당신이 문을 바꾸든 바꾸지 않든 자동차를 선택할 확률과 염소를 선택할 확률은 1/2로 같아질 것이다. 하지만 진행자가 염소와 자동차가 어디에 있는지 이미 알고 있기 때문에 두 번째 선택에서 진행자의 도움을 받게 된다.

이 문제를 증명하기 위해 수학자들은 문제를 논리적인 단계로 나누고 수학 기호들을 사용해 확률을 나타낸다. 이것이 현재 수학자들이 ‘참’이라는 것을 보여주기 위해 사용하는 방법이다. 하지만 이 방법이 모든 경우에 항상 적용되었던 것은 아니다.

초기의 증명

우리에게 알려진 수학적 증명 가운데 가장 오래된 것은 탈레스가 했다고 한다. 탈레스는 이등변 삼각형의 밑각은 동일하다는 것과 원의 지름은 한 원을 똑같은 넓이로 양분한다는 것, 선이 교차되었을 때 마주보는 각의 크기는 같다는 것을 증명했다. 탈레스가 직접 쓴 내용들이 현재는 남아 있지 않기 때문에 그가 실제로 이 정리들을 증명했는지는 확실하지 않다. 그로부터 50년쯤 후에 피타고라스는 직각 삼각형에 대한 자신의 정리를 증명했다.

탈레스와 피타고라스 이후에 수학적 증명의 기본 원칙은 간단해보이는 사실로부터 복잡한 진술을 끌어내는 것이었다. 일반적으로 기하학의 모든 것들은 논리적 단계를 거쳐 증명될 수 있다. 하지만 이것이 이미 존재하는 사실에서 최초로 새로운 아이디어를 얻는다는 것을 의미하진 않는다. 수학자들은 흔히 직관이나 실험, 연구 결과에서 어떤 아이디어가 떠오르면 이미 알고 있는 사실들을 가지고 이것을 증명한다. 때론 증명하려는 것이 새로운 이론과 상충하면 받아들이지 않을 것이다. 그리고 증명하는 것이 거의 불가능해보이는 정리들은 증명되지 않은 채로 남아 있기도 한다.

연역 증명

연역에 의한 증명은 알려진 진실에서 새로운 진실을 추론해내는 것이다. 예를 들어, ‘인간은 포유류다.’ ‘피터는 인간이다.’라고 한다면 ‘피터는 포유류다.’라고 할 수 있다. 연역법은 처음 진술이 완전히 참이라고 해도 완벽하게 믿을 만한 결과를 내지는 못한다. 추론이 타당하지 않을 수도 있기 때문이다. 그래서 ‘인간은 포유류다.’ ‘피터는 포유류다.’ 그러므로 ‘피터는 인간이다.’라고 말할 수도 있게 된다. 그러나 ‘인간은 포유류다.’라는 첫 번째 진술은 ‘개는 포유류다.’ ‘햄스터는 포유류다.’와 같이 피터가 개 또는 햄스터, 다른 어떤 포유류일 때라도 참이 될 수 있다.

파르메니데스는 기원전 5세기에 최초로 연역에 의한 증명을 한 사람이다. 고대 그리스와 중세 수학자들에 의해 광범위하게 사용되긴 했지만, 현대 수학자들은 연역법에 의한 증명을 충분하지 않다고 생각한다.

간접 증명

그리스에서 유래한 간접 증명은 연역 증명처럼 어떤 전제로부터 차례로 추론하여 결론을 이끌어내는 것이 아니라 명제를 부정하면 모순이 된다는 것을 증명함으로써 결론을 이끌어내는 방법이다. 즉 어떤 명제가 있을 때 그 명제를 직접 증명하는 것이 아니라 그것의 부정 명제를 통해 명제가 참임을 증명하는 것이다.

간접 증명법에는 여러 가지가 있지만 가장 대표적인 것은 귀류법(歸謬法)이다. 귀류법은 어떤 명제가 있을 때 그 명제의 결론을 부정하여 추론한 것이 모순이라는 것을 밝힘으로써 본래 명제가 참임을 증명하는 것이다.

가장 일찍 간접 증명법을 사용한 사람은 히파수스이다. 그는 무리수의 존재를 증명하는 데 이 방법을 이용했다.

귀납 증명

그리스의 증명법은 아랍 수학자들에게 널리 퍼졌고, 이후 중세 시대 초기 유럽 학자들이 널리 사용했다. 하지만 1575년에 새로운 모델이 등장했다. 바스카라와 알카라지(AD1000년 경)의 연구에 나타나 있기도 한 수학적 귀납법은 프란체스코 마우롤리코(1494~1575년)에 의해 《두 권의 산술책(Arithmeticorum Libri Duo)》에서 최초로 설명되었다. 귀납법은 그 뒤 자코브 베르누이, 블레즈 파스칼, 페르마에 의해 발전되었다.

귀납법은 처음 값(n = 1)을 대입했을 때 가설이 참이라는 것을 보여주고, 그 이후의 값(n = m)과 바로 그 다음 값(n = m + 1)을 대입했을 때도 가설이 참이라는 것을 보여주는 증명 방법이다. n = m과 n = m + 1이 참이라는 것을 보여주면, 앞으로 나타날 모든 값에 대해 그 명제가 참이라는 것을 증명하는 과정이 끝없이 반복될 수 있다.

이것은 마치 도미노의 대열과 같다. 끝까지 같은 간격으로 놓여 있는 도미노는 하나가 쓰러지면 자연히 그 다음 것도 넘어질 것이다. 첫 번째 도미노가 넘어지면서 다음 것까지 넘어뜨린다면 당연히 모든 도미노가 넘어질 때까지 이 과정이 계속될 것이다.

마우롤리코는 귀납에 의한 증명을 사용해서 1부터 n까지 홀수 정수를 합하면 n²이 된다는 것을 증명했다.

1 + 3 + 5 + 7 + 9 + ······ n = n²

질문, 질문 그리고 다시 질문

미적분의 출현, 복소수 그리고 이후의 비유클리드 기하학에 이르기까지 계속해서 증명이 요구되었다. ‘유령의 수’를 다루는 미적분에 대한 버클리의 반대는 수학자들이 연구하면서 다루는 수량과 개념을 정의 내리는 것뿐만 아니라 증명을 하는 데 있어서도 엄격해지는 원동력이 되었다.

하지만 19세기에 새로운 논법이 개발되면서 수학적 증명에 위대한 혁명이 나타났다. 사람들은 최초로 형식 논리학을 수학에 적용하고자 했다. 이로 인해 수학의 가장 기본이 되는 것들을 재평가하고 수학과 철학을 함께 고려해야 한다는 주장들이 나타났다.

이러한 발견을 계기로 수학자들은 오랫동안 진실이라고 믿어온 것에 의문을 제기하고, 새로운 증명 방법과 자신들의 학문을 뒷받침하는 가장 기본적인 개념에 대해서도 질문을 던지기 시작했다. 이렇게 되자 그때까지 진실이라고 믿었던 그 어떤 것도 당연하게 받아들일 수 없게 되었다.