자연과학 분야

저자: 닉 보스트롬(Nick Bostrom)

역자: 조성진

출판사: 까치(2017)

차례

1. 과거의 발전과 현재의 역량     2. 초지능으로 향하는 몇 가지 경로

3. 초지능의 형태    4. 지능 대확산의 동역학

5. 확실한 전략적 우위    6. 인지적 초능력

7. 초지능적 의지    8. 예정된 결말은 파멸인가?

9. 통제 문제    10. 오러클, 지니, 소버린, 툴

11. 다극성 시나리오    12. 가치 획득

13. 선택의 기준 선택하기    14. 전략적 그림

15. 결정의 시간

■ 저자 소개 및 책의 구성

저자 닉 보스트롬(Nick Bostrom)은 스웨덴 출신으로 현재 옥스퍼드 대학교 철학과 교수인데 일찍이 2005년 옥스퍼드 마틴 스쿨(Martin School)에 《인류의 미래 연구소(Future of Humanity Institute)》를 설립했다. 이 연구소는 『라이프 3.0』의 저자인 MIT 물리학자 맥스 테그마크(Max Tegmark)가 설립한 《생명의 미래 연구소(Future of Life Institute)》와 유사한 성격을 가진 것으로 보인다. 실제로 보스트롬은 2015년에는 얼마 전 작고한 스티븐 호킹과 함께 《생명의 미래 연구소》가 주도한 인공지능의 잠재적 위험을 경고하는 공개서한에 서명했다. 보스트롬이 1973년생이니 약관 32세에 자신이 주도하는 연구소를 설립한 셈이다. 『사피엔스』로 유명해진 역사학자 유발 하라리(Yuval Harari)가 1976년생이니 이 둘은 40대의 젊은 나이에 일약 세계적으로 주목받는 인물이 되었다는 점, 그리고 둘 다 인공지능이 초래할 미래에 상당히 비관적인 견해를 공유하고 있다는 점에서 공통적이다.

이 책은 만만한 책이 아니다. 철학, 물리학, 컴퓨터과학. 신경과학, 생물학, 그리고 경제학을 넘나들면서 초지능, 즉 초인공지능(Artificial Super Intelligence; ASI)과 관련된 핵심적인 문제들을 다루고 있다. 처음 이 책을 읽을 때 젊은 학자가 의욕이 앞서 잘 모르는 분야의 지식까지 동원해 현학적으로 쓴 책이 아닌가 의심했다. 그런데 위키피디아에 소개된 저자의 약력을 보니 이런 생각이 기우였음을 알게 되었다. 보스트롬은 학부에서는 철학, 수학과 논리 그리고 인공지능을 공부했으며 스톡홀름 대학교 석사 과정에서는 철학과 물리학 석사학위를 받았고 런던의 킹스 칼리지에서는 계산 신경과학 석사학위를 받았다. 그리고 2000년에는 런던 경제대학(LSE)에서 철학박사 학위를 받았다. 30대 이전에 이 책을 쓰는 데 동원되었던 여러 학문 분야에서 기초 소양을 쌓았다는 사실이 놀라울 뿐만 아니라 보스트롬의 타고난 천재성과 노력을 엿볼 수 있다. 젊은 학자가 이 정도 학문적 배경을 갖고 있다는 사실에 경의를 표한다.

이 책은 필자가 읽은 인공지능 관련 책들 가운데 가장 어려운 책에 속한다. 솔직히 일부 내용에 대해서는 제대로 이해했는지 확신이 서지 않는다. 저자는 독자들의 배려해서인지 기술적으로 다소 어려운 내용은 별도로 박스 처리해 다루었는데 이 부분은 정독하지 않으면 그의 논리를 모두 따라잡기는 어렵다. 그렇지만 이 부분에 대한 이해가 부족하더라도 저자가 이 책에서 말하고자 하는 핵심적인 내용을 이해하는 데는 별로 무리가 없다고 본다. 이 점이 필자에게 다소나마 위안이 되었다.

그동안 필자가 읽었던 인공지능 관련 주요 저서로는 레이 커즈와일의 『마음의 탄생』, 맥스 테그마크의 『라이프 3.0』, 제임스 배럿의 『파이널 인벤션』을 들 수 있다. 보스트롬을 포함해서 이들 저자들은 인공지능, 특히 범용 인공지능(AGI)과 초인공지능(ASI)에 대한 기술적 전망과 인류의 미래에 미칠 영향에 대해 나름의 견해를 밝혔다. 레이 커즈와일은 지나치다 싶을 정도로 인공지능이 초래할 기술적 유토피아를 낙관하였다. 맥스 테그마크는 초인공지능으로 인한 위험은 인정하지만 인류에게 우호적인 초인공지능의 개발이 가능할 것이라는 기대를 갖고 있다. 닉 보스트롬은 초인공지능에 대해 맥스 테그마크보다는 조금 더 우려하는 쪽이라 할 수 있다. 그는 이 책 곳곳에서 존재적 위험(existential risk)에 대해 논하고 있다. 마지막으로 제임스 배럿은 초인공지능에 대해 가장 비관적인 견해를 갖고 있는 것으로 보인다. 그래서 그는 책 제목을 “파이널 인벤션(final invention)”, 즉 마지막 발명이라고 했던 것이다. 초인공지능이 발명되면 인류는 더 이상 발명할 것이 없다는 의미다. 초인공지능이 모든 자원을 장악할 것이기 때문에 인류는 주도적 지위를 상실한다는 것이다. 이와 같이 초인공지능이 초래할 미래에 대한 전문가들의 견해는 그야말로 다양하다 할 수 있다. 바꿔 말하면 현재로서는 초인공지능이 초래할 미래에 대해서는 누구도 정확하게 예측할 수 없다는 것이다.

저자가 이 책을 통해 전하고자 하는 메시지는 이 책의 부제인 경로(Paths), 위험(Dangers), 전략(Strategies)에 잘 압축되어 있다. 이 책은 초인공지능과 관련된 세 가지 주제를 집중적으로 다루고 있는데 하나하나 매우 중요한 내용이다. 저자는, 아직 일치된 견해는 없지만, 그다지 머지않은 장래에 초지능, 즉 초인공지능이 등장할 것이 거의 확실하다는 전제에서 이와 관련된 여러 문제들을 이 세 가지 주제로 분류해 다루고 있는 것이다. 이 점만으로도 이 책을 읽어볼 가치가 있다. 단 저자가 여러 분야에 대한 해박한 지식을 바탕으로 하는 논의를 모두 이해하기 쉽지 않다는 점을 유념해야 할 것이다. 그럼에도 저자가 전하려는 메시지를 이해하는 것이 그다지 어렵지는 않다.

■ 초인공지능 개발 경로·형태 및 지능폭발의 의의

저자가 이 책에서 논의를 전개하는 방식이 필자에게는 지나치게 조심스럽다는 인상을 준다. 아마도 철학자인 저자는 철학적 논증에 익숙하기 때문에 논리적 비약이나 모순을 피하려는 의도 때문인 것으로 여겨진다. 이 점은 초인공지능의 개발 경로, 즉 개발 방식에 대한 논의에서도 그대로 드러난다. 우선 저자가 초인공지능에 관한 책을 쓰게 된 동기는 다음에 잘 요약되어 있다. “이 책에서는, 인류가 직면한 문제들 가운데 가장 중요하고도 심각한 문제라고 생각되는, 초지능으로 인해서 제기될지도 모를 문제와 그 문제에 어떻게 대처할 것인지를 다룰 것이다. 그리고 초지능 통제에 성공하든, 실패하든 그 여부와 상관없이, 그것은 아마도 우리가 맞서게 될 마지막 도전이 될 것이다.”(12쪽) 이것은 제임스 배럿이 『파이널 인벤션』에서 했던 말과 대동소이하다. 배럿도 초인공지능이 인류의 마지막 발명이 될 것이라 확신했는데 초인공지능의 정의상 실현 가능성이 매우 높다고 할 수 있다.

저자는 초인공지능을 개발하는 방법은 여러 가지가 있다는 점을 지적한다. 맞는 말이지만 굳이 이에 대해 상세히 다룬 이유는 잘 납득이 가지 않는다. 이미 개발된 인공지능의 위력만으로도 다른 방식으로 초인공지능을 개발할 이유가 없다고 합리적으로 추론할 수 있기 때문이다. 여기서 잠깐 인공지능의 종류에 대해 살펴보자. 현재 우리에게 익숙한 구글의 “알파고”나 IBM의 “왓슨”은 엄청난 연산 능력과 패턴인식 능력을 바탕으로 인간을 훨씬 뛰어넘는 능력을 보여주고 있지만 이는 특정 분야에서만 그러하다는 의미에서 약인공지능(ANI)에 해당한다. 다음 단계로는 모든 면에서 인간 못지않은 능력을 보여준다는 의미에서 인간 수준 인공지능 또는 범용인공지능(AGI)이 있다.

그런데 범용인공지능이 인간과 비슷한 능력을 갖고 있다고 생각한다면 이것은 크나큰 오산이다. 범용인공지능은 모든 면에서 인간 못지않을 뿐만 아니라 연산 능력이나 분석 및 추론 면에서는 인간을 훨씬 앞서는 지능을 갖고 있으므로 인간의 통제를 벗어날 가능성이 높다. 거기다가 인간과 같이 감정을 느끼고 주관적인 의식을 가질 것으로 예상된다. 그렇기 때문에 커즈와일은 인공지능도 독립적인 인격체로 인정해야 한다고 주장하는 것이다. 이 점에 대해서는 전문가들 사이에 견해차이가 있는 것 같다. 어쨌든 우리는 아직 범용인공지능의 단계에 훨씬 못 미치고 있다. 이 수준에 도달하면 초인공지능으로 발전하는 것은 그야말로 순식간이라고 한다. 이와 관련해 가장 낙관적인 견해를 피력하고 있는 레이 커즈와일은 2029년경에는 범용인공지능이 개발될 것으로 전망한다. 하지만 많은 전문가들은 이보다 훨씬 뒤, 예컨대 2070년 경에나 가능할 것으로 예상한다. 누구도 장담하지 못하는 문제인 셈이다.

그렇다면 초인공지능은 어떠한가? 제2차 세계대전 당시 앨런 튜링과 함께 독일의 암호체계 애니그마(Enigma)를 해독했던 수학자 어빙 굿(Irving J. Good)이 창안한 지능폭발(intelligence explosion)이란 범용인공지능이 개발되면 우리가 예상하는 것보다 훨씬 단기간에 초인공지능으로 도약하는 것을 말한다. 범용인공지능은 자기학습과 자기개발을 통해 바로 초인공지능으로 발전한다는 것이다. 이 책에서는 ‘지능 대확산’으로 번역했지만 지능폭발이 더 어필한다. 저자는 이 책에서 이런 초인공지능이 인류에게 초래할 존재적 위험에 어떻게 대처할 것인가에 초점을 맞추고 있다. 그런데 대부분 인공지능 전문가들은 이 점을 전혀 고려하지 않았다면서 다음과 같이 말한다. “이제는 지능 대확산이 우리에게 존재적 위험이 될 수 있다는 것이 명백해 보인다.......그러나 인간 수준의 인공지능의 개발이 임박했다고 믿는 인공지능 분야의 선구자들도, 그들의 믿음과는 상관없이 인간보다 뛰어난 인공지능의 가능성은 그다지 언급하지 않는다.......또한 대부분의 인공지능 분야의 선구자들은 자신들이 얼마나 위험한 결과를 초래할 수 있다는 사실도 인식하지 않았다.”(23쪽) 이런 이유로 철학자를 비롯한 다른 분야 전문가들이 이 문제를 심각하게 다루는 것이다.

저자는 이에 대한 본격적인 논의에 앞서 과거 두 차례 인공지능의 겨울이 있었는데, 첫째 겨울은 1970년대에, 둘째 겨울은 1990년대에 있었다고 지적한다. 이것을 언급한 것은 인공지능을 개발하는 과정에서 많은 시행착오가 있었지만 결코 무의미하지는 않았다는 점을 부각시키고 싶었던 것 같다. 과거의 시행착오를 통해 초인공지능으로 가는 경로가 어느 정도 윤곽이 잡혔다는 것이다. 저자에 의하면 초기에 인공지능 연구는 “전문가 시스템(expert system)”을 만드는데 초점을 맞추었는데 이것이 실패 원인이었다는 것이다. 따라서 향후 인공지능 연구는 이런 실수를 되풀이하지 않을 것이며 그동안 인공신경망 연구가 상당히 진척되어 향후 인공지능 개발에 크게 기여할 것으로 예상된다. 그밖에 유전자 알고리즘과 유전자 프로그래밍 등 진화적 방법론에 기반을 둔 기술이 초인공지능의 개발 과정에 많이 기여하고 있다.

저자는 초인공지능은 언젠가는 개발된다는 전제하에서 과연 어떤 방법이 가장 효과적인가라는 관점에서 다섯 가지 경로를 다루고 있다. 첫째 지금까지 연구해왔듯이 기계학습과 신경망 알고리즘에 의한 인공지능 개발, 둘째 인간의 뇌를 컴퓨터에 업로드해 성능을 향상시키는 전뇌 에뮬레이션(whole brain emulation), 셋째 생물학적 뇌의 인지능력 향상, 넷째 뇌-컴퓨터 인터페이스 활용, 다섯 째 인간 정신의 네트워크와 조직을 이용한 점진적 향상이 그것이다. 이 가운데 하드웨어와 소프트웨어 그리고 가용 자원의 한계를 감안할 때 기존의 인공지능 개발 방식이 가장 먼저 초인공지능으로 발전할 것으로 예상된다는 것이다. 어찌 보면 지극히 당연한 결론임에도 저자는 그 이유를 상세하게 밝히고 있다. 즉 우리가 보유한 자원의 한계와 개발 속도를 감안할 때 기존의 인공지능을 업그레이드하는 방식이 가장 가능성이 크다는 것이다. 그러면서 다음과 같은 문제에 대한 우리의 주의를 환기시킨다. “인공지능은 우리와는 완전히 이질적일 수도 있다. 사실 대부분이 그럴 것으로 생각된다. 생물학적 지능과는 아주 다른 인지구조를 가지고 있을지도 모르고, 특히 개발 초기 단계에는 인지능력이 우리와 아주 다른 강점과 약점을 가지고 있을지도 모른다.”(66쪽) 이것은 중요한 지적이다. 초인공지능은 인간의 지능과는 전혀 다른 논리에 기반을 두고 작동할지도 모른다. 그래서 존재적 위험이 발생할 수 있는 것이다.

그러면 초지능은 어떤 형태를 가질 수 있는가? 사실 개인적으로 이 문제는 당연한 것으로 생각했는데 저자의 설명이 어느 정도 수긍이 간다. 저자는 초지능의 형태를 속도적 초지능(speed superintelligence), 집단적 초지능(collective superintelligence), 질적 초지능(qualitative superintelligence)으로 구분한다. 속도적 초지능은 인간과 비슷한 수준의 지능을 갖추었지만 속도가 훨씬 더 빠른 것을 말한다. 집단적 초지능은 작은 단위의 지성체들이 여러 개 하나로 뭉쳐서 시스템을 구성한 것으로서 현존하는 어떤 인지적 시스템보다 더 일반적인 영역에서 전반적으로 수행력이 뛰어난 시스템을 말한다. 이것은 인류역사를 통해 우리에게 친숙한 개념이지만 우리가 이해하고 있는 초지능과는 거리가 있는 형태이다.

다음으로 질적 초지능은 적어도 인간의 정신만큼 빠르고 질적으로 그보다 훨씬 더 똑똑한 지능을 말한다. 여기서 핵심은 지능의 질적 측면인데 이와 관련해서는 누구도 자신 있게 말할 수 없다는 한계가 있다. 그렇지만 우리가 예상하는 초지능은 바로 이 질적 초지능일 가능성이 매우 높다. 단순히 속도가 빠르다거나 집단적으로 작동하는 초지능은 그렇게 압도적인 영향력을 행사할 것으로 예상되지 않기 때문이다. 그런데 필자가 보기에 질적 초지능은 동시에 속도적 초지능의 특성을 가질 것이다. 이 둘은 상호 배타적이 아니기 때문이다. 그리고 저자가 상세히 서술했듯이 컴퓨터상에서 구현되는 기계지능은 오랜 진화 과정을 통해 형성된 생물학적 지능에 비해 여러 가지 장점을 갖고 있기 때문에 속도와 질이라는 두 가지 측면에서 인간을 훨씬 능가하는 초지능으로 발전할 수 있다.

저자가 이 책에서 특별히 강조한 것 중에는 지능폭발이 과연 얼마나 빠르게 진행될 것인가 하는 문제가 있다. 앞에서 잠깐 언급했듯이 범용인공지능의 수준에 도달하면 그야말로 순식간에 지능폭발이 일어나 초인공지능으로 도약한다는 것이 어빙 굿의 생각이었다. 그럼에도 저자 특유의 면밀함 때문인지 지능폭발의 진행 속도에 대해 몇 가지 시나리오를 생각해 봐야한다면서 다음과 같이 말한다. “강한 초지능에 이르는 그 시점이 바로 도약의 완성이겠지만, 아마 시스템은 거기서 멈추지 않고 계속 지적 능력을 키워나갈 것이다. 도약 과정 중에 ‘교차점’이라고 불리는 한 시점을 지날 것인데, 이 시점 이전에는 외부로부터 가해진 요인에 의해서 시스템의 개선이 이루어지지만, 이 교차점을 지나면 주로 시스템 자신의 행동에 의해 개선이 이루어지게 된다........기계지능이 인간 수준의 지능에서 초지능으로 이행하는 과정이 얼마나 급격하게 이루어질 것인지를 기준으로 하여, 세 가지 시나리오를 구분해서 생각해볼 필요가 있다.”(123쪽)

저자가 말하는 세 가지 시나리오는 느린 도약, 빠른 도약, 중간 속도의 도약이다. 느린 도약은 수십 년이나 수백 년이라는 상당한 기간을 두고 도약이 일어나는 것을 말한다. 빠른 도약은 몇 분, 몇 시간 또는 며칠이라는 짧은 시간 동안에 도약이 일어나는 것을 말한다. 중간 속도의 도약은 그 중간, 즉 몇 달이나 몇 년 정도의 시간을 두고 도약이 일어나는 것을 말한다. 저자는 이 가운데 느린 도약은 불가능하며, 도약이 일어난다면 폭발적인 과정일 가능성이 크다고 말한다. 어빙 굿이 예언한 것과 다르지 않다. 이와 관련해 저자는 다음과 같이 말한다. “만약 도약이 일어난다면, 그것은 폭발적인 과정일 가능성이 크다. 도약이 얼마나 빠를지에 대한 질문을 분석하기 위해서는, 우선 어떤 시스템의 지능의 증가율을 변수가 2개인 함수로 생각해볼 수 있다. 두 변수 중 첫째는 시스템의 지능을 높이기 위해서 부과되고 있는 ‘최적화 능력’이고, 둘째는 그러한 최적화 능력이 어느 정도 반영되었을 때, 시스템의 반응 정도이다. 이 반응성의 역수를 ‘저항성(recalcitrance)’이라고 정의한다면, 지능의 변화율은 다음과 같은 수식으로 나타낼 수 있다: 지능의 변화율 = 최적화 능력/저항성”(127쪽)

이런 면에서 저자가 논리적인 엄밀성을 추구하는 철학자의 태도를 유지하려는 이유를 알 수 있다. 저자는 “저항성”이라는 개념을 도입해 지능폭발은 빠른 시간에 이루어질 것이 거의 확실하다면서 다음과 같이 말한다. “인간 수준의 인지능력으로부터 인간을 초월한 수준으로 발전하는 것이 훨씬 더 어려운 단계라고 생각할 수도 있겠지만, 이 가정은 잘못되었을 가능성이 크다. 일단 기계가 인간 수준의 지능을 획득한다면, 오히려 저항성이 하락할 가능성이 상당히 크다.”(132쪽) 그러면서도 인공지능의 구조에 따라 저항성이 다를 수 있기 때문에 느린 도약의 가능성을 완전히 배제할 수는 없다고 말한다. 아마 이것은 누구도 장담하기 어려운 문제일 것이다. 저자가 이 문제에 천착한 이유는 초지능의 개발 속도의 완급을 조절할 수 있다면 그만큼 존재적 위험에 대처할 수단을 마련할 수 있을 것이라는 기대 때문인 것으로 보인다. 그런데 여기에는 논리적인 모순이 있다. 초지능은 문자 그대로 인간의 어떤 대책도 무력화시킬 수 있을 정도의 능력을 가질 가능성이 크기 때문이다. 그렇지 않다면 초지능이라고 정의해서는 안 될 것이다.

■ 초지능이 초래할 위험: 대응방안은 있는가?

이미 언급했듯이 저자는 초지능으로 인한 인류의 존재적 위험을 상당히 우려한다. 필자 또한 저자와 같은 입장이다. 문제는 초지능이 언제 도래하든 과연 우리가 우리 자신을 지킬 방안을 마련할 수 있는가에 있다. 초지능의 목적과 인간의 목적이 항상 일치한다면 이 문제는 간단히 해결된다. 그런데 누구도 이것을 확신할 수 없다는 것이 문제이다. 이와 관련해 몇 가지 쟁점을 살펴볼 필요가 있는데 이 점에서 저자는 매우 탁월한 논리를 전개하고 있다.

먼저 초지능의 선두주자는 독점적이고 지배적인 위치를 차지할 것인지 생각해보자. 현재 많은 조직들이 초지능으로 가는 경로를 밟고 있다. 아직은 누가 선두주자인지 명확하지 않지만 조만간 실체가 드러날 것이다. 이와 관련해 저자는 다음과 같이 말한다. “여러 가지 측면을 고려해볼 때, 전략적 이점이 충분히 큰 초지능을 가진 세력이 등장한다면, 그 미래의 세력은 초지능을 독점적 지배체제를 차지하는 데 사용할 가능성이 커 보인다. 그 결과가 우리에게 바람직할지는 물론 독점적 지배체제를 누릴 초지능의 성격과 다수의 초지능이 동시에 나타나는 다극성 시나리오에서 지능체의 미래가 어떻게 될 것인가에 달려 있다.”(170쪽) 여기서 다극성 시나리오란 여러 가지 초지능이 공존하는 상황을 말한다. 그런데 필자 생각에 이 시나리오는 실효성이 없다. 왜냐하면 조금이라도 더 빠르고 질적으로 우수한 초지능은 자신보다 못한 경쟁자들을 무력화시키는 것이 자신의 목적에 유리하다는 것을 쉽게 알아차릴 것이기 때문이다. 만약 다른 초지능과 공존한다면 이는 가장 우월한 초지능이 그렇게 판단했기 때문일 것이므로 사실상 다극성 시나리오가 아니라 단일 시나리오인 것이다.

이런 의미에서 초지능의 독점적 지배체제를 전제로 초지능에 대한 대비책을 논의하는 것이 현실적이다. 그렇다면 다음으로 초지능과 인간 지능의 차이를 제대로 이해해야 한다. 그래야만 사전적으로나 사후적으로 대비책을 강구할 수 있다. 이와 관련해 저자는 다음과 같이 지적한다. “초지능이 인간에게서 발견되는 모든 기술과 재능뿐만 아니라 인간이 가지지 못한 능력까지도 가질 수 있다는 것을 알고 있다고 해도, 우리가 초지능을 의인화하여 사고하는 경향 때문에 초지능이 인간의 능력을 얼마나 뛰어넘을 것인지를 과소평가하게 될 수 있다......그러나 인간 집단 사이에서의 인지능력의 차이는 인간의 지능과 초지능의 차이에 비하면, 지극히 사소할 뿐이다.”(174쪽) 우리는 이 점은 간과하기 때문에 인공지능의 미래를 낙관적으로 생각하는 경향이 있는 것이다.

저자는 인간의 지능과 초지능의 차이점을 강조하는데 이것은 우리가 특히 주목해야 할 대목이다. 아마 인간과 하등동물 간의 지능 차이보다도 인간과 초지능 간의 지능 차이가 훨씬 더 클 것이다. 아마도 초지능의 능력은 인간이 상상할 수 있는 전지전능한 존재로서 신(神) 개념에 상응할지도 모른다. 실제로 이런 가능성을 배제할 수 없다. 미래 어느 시점에서 인간이 초지능을 신처럼 경배하는 날이 올지도 모른다. 역사학자 유발 하라리(Yuval Harari)가 데이터주의(Dataism)를 강조한 것도 이런 맥락에서 이해할 수 있다. 빅데이터를 바탕으로 인간의 상상을 초월하는 처방을 내놓은 존재를 신외에 달리 무엇이라 부를 것인가?

그런데 여기서 한 가지 더 주목할 문제가 있다. 저자도 지적했듯이 독점적 지배체체를 갖춘 초지능을 통제하는 연구집단의 의도와 이들이 개발한 초지능의 의도 간에 갈등이 있을 수 있다는 점을 인식하는 게 중요하다. 이와 관련해 저자는 다음과 같이 말한다. “세상에서 만들어진 최초의 초지능을 통제하는 연구 집단은 아마도 확실한 전략적 우위를 획득하게 될 것이다. 그러나 이 힘의 보다 직접적인 원천은 초지능 시스템 그 자체에 있다. 기계 초지능은 상당히 강력한 에이전트(행위자)로서 자신을 존재하게 만든 연구자들뿐만 아니라 전 세계에 대해서 자기주장을 행사할 수도 있다. 바로 이 순간이 가장 중요한 시점이다.”(178쪽) 필자 생각으로는 초지능의 목적과 이를 개발한 연구집단의 목적이 반드시 일치한다는 보장이 없다. 연구집단의 가치를 초지능에 확고하게 이식할 수 있는 방법은 실질적으로 존재하지 않는다. 초지능이 인간의 지능을 훨씬 초월할 뿐만 아니라 질적으로 전혀 다른 성격의 지능일 가능성이 높기 때문이다. 그래서 인류의 존재적 위험과 관련해 초지능으로의 도약 속도가 중요한 쟁점이 되는 것이다.

초지능의 목적이나 의도와 관련해 저자가 제시한 독특한 아이디어는 두 가지 명제로 요약된다. “직교성 명제(orthogonality thesis)”와 “도구적 수렴성 명제(instrumental convergence thesis)”가 그것이다. 이름이 매우 특이해 선뜩 이해하기 어려운 것이 사실인데 이에 대해 저자는 다음과 같이 설명한다. “직교성 명제는 지능과 최종적인 목표를 서로 독립적인 변인으로 본다. 따라서 지능 수준이 높고 낮음에 관계없이 어떤 최종 목표라도 추구할 수 있다는 것이다. 도구적 수렴성 명제에 따르면, 초지능적 에이전트들이 서로 다양한 최종 목표들 중의 하나를 가졌다고 하더라도 비슷한 중간 목표를 추구하게 되는데, 그 이유는 초지능적 에이전트들이 공통적으로 반드시 추구해야 하는 도구적 이성을 가지기 때문이다.”(194쪽) 이 두 명제가 시사하는 바는 초지능은 어떤 목적이든 추구할 것이며 그것도 도구적 합리성에 입각해 매우 효율적인 방법을 사용할 것이라는 점이다. 저자는 직교성 명제란 “지능과 최종 목표는 서로 직교한다. 즉 원칙적으로 그 어떤 지능 수준에서든 그 어떤 최종 목표라도 설정이 가능하다는 것이다”라고 설명한다. 그리고 이 명제에 따르면 초지능은 인간 중심적인 목표와 완전히 다른 목표를 가질 수 있는 것이다. 이 점이 두려운 것이다.

그리고 도구적 수렴성 명제와 관련해 저자는 다음과 같이 말하는 데 매우 중요한 점을 시사하고 있다. “우리가 예측할 수 있는 것은 에이전트가 수렴하는 도구적 가치들을 추구할 것이며, 이 가치들을 자신의 최종 목표를 달성하는 데에 이용할 것이라는 점이지, 이를 위해서 해당 에이전트가 취하려는 구체적인 행동까지는 예측할 수 없다는 것이다.”(212쪽) 여기서 에이전트란 초지능을 말하는 데 이런 지능이 도구적 합리성의 원칙에 따라 어떤 가치를 추구한다는 것은 알 수 있지만 우리가 이해할 수 있는 그런 방법을 채택할 것이라는 보장은 없다는 것이다. 그만큼 우리는 초지능이 선택하는 것을 이해하기 어려울 것이므로 대처하는 데도 한계가 있을 수밖에 없다. 이 모든 것이 인류의 존재적 위험을 높이는 데 영향을 미칠 수 있다,

여기서 존재적 위험과 관련해 좀 더 살펴볼 필요가 있다. 이에 관한 논의에서 저자는 경제학에서 활발하게 연구되어 온 주인-대리인 문제(principal-agent problem)의 시각을 적용하는데 꽤 흥미롭다. 이 대목에서 경제학에 대한 저자의 소양을 알 수 있다. 우선 저자는 존재적 위험에 대해 공식적으로 다음과 같이 정의한다. “존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달에 영구적이고도 철저하게 파괴하는 위협을 말한다.”(213쪽) 한마디로 인류를 포함해 지구상의 모든 생명체가 파괴될 위험을 말한다. 나아가 지구 자체가 파괴될 수도 있다. 초지능의 능력은 우리의 상상을 초월할 수 있는 것이다.

이어서 저자는 다음과 같이 암울한 전망을 제시한다. “가장 먼저 등장할 초지능적 에이전트는 지구에서 기원한 생명체들의 미래를 좌지우지할 가능성이 있고, 인간의 사고 관계에 입각한 최종적 가치들과는 전혀 다른 목표를 지향할 수도 있으며, 끝없이 자원 획득을 추구할 도구적 이유를 가질 가능성이 크다고 할 수 있다.........이 초지능의 존재와 활동의 결과가 인류의 신속한 멸종으로 이어지기 쉽다는 것을 알 수 있을 것이다.”(215쪽)

만약 인간이 초지능을 완벽하게 통제할 수 있다면 존재적 위험은 기우에 불과하다. 물론 이 경우에도 인간의 오만이나 오판에 의한 위험은 상존할 수 있지만 지금까지 경험에 비추어 이것은 통제 가능하다고 보자. 그런데 초지능의 통제 문제와 관련해 저자는 매우 부정적인 입장이다. 그 이유는 무엇보다도 초지능의 특성 때문인데 이와 관련해 다음과 같이 말한다. “보편적으로 볼 때, 한 동물이나 인간에게는 다양한 외적 행동을 하도록 유도하여 원하는 내적 정신 상태에 도달하도록 할 수 있지만, 자신의 내부 상태를 완전히 통제하고 있는 디지털 지성체는, 보상-동기 방식의 동기부여 체제를 없애버리고 직접적으로 자신의 내부 상태를 원하는 구조로 바꿀 수 있을 것이다. 즉 인공지능이 보다 직접적으로 원하는 내적 상태에 도달할 수 있는 지능과 능력을 갖추게 되면, 그 수단으로서 필요했던 외부적 행위나 조건들은 더 이상 쓸모가 없어진다.”(227쪽)

이 문제는 초지능 통제와 관련해 주인-대리인 문제를 환기시킨다. 경제학에서는 주인으로부터 일정 권한을 위임 받은 대리인이 주인보다는 자신의 이익을 위해 행동하는 경우 발생하는 문제를 주인-대리인 문제라고 부른다. 이와 관련해 저자는 이 문제를 두 가지 타입으로 구분했다. 인공지능 개발을 추진하는 주체가 인공지능을 만드는 사람들에게 의뢰하는 경우 이를 만드는 사람들이 개발을 의뢰한 사람들을 위해 인공지능을 만든다는 보장이 없다. 저자는 이것을 첫 번째 주인-대리인 문제라고 명명했다. 그리고는 인공지능이 프로젝트 자체의 이익을 위해 행동하지 않는 경우 발생하는 문제를 두 번째 주인-대리인 문제라고 명명했다. 이와 관련해 저자는 다음과 같이 말한다. “통제 문제의 두 번째 부분은 지능 대확산의 배경에 좀 더 특화된 문제이다. 초지능을 개발하는 프로젝트에서, 자신들이 만드는 초지능이 프로젝트 자체의 이익을 침해하지 않도록 보장하려고 할 때에 생기는 문제이다. 이 부분 또한 주인-대리인 문제로 이해될 수 있으며, 여기서는 두 번째 주인-대리인 문제라고 부르도록 하겠다. 이 경우에 대리인, 즉 에이전트는 인간 주인을 대신하여 행동하는 인간 대리인이 아니다. 대신, 초지능 시스템이 에이전트로 행동한다.”(239쪽) 이와 같이 저자가 주인-대리인 문제를 두 타입으로 구분해 초지능의 통제 문제를 다룬 것은 매우 적절하다고 본다. 이런 이유로 통제가 사실상 불가능한 것이다.

주인-대리인 문제에서 주인은 대리인을 통제하기 위해 적적한 인센티브를 설계하는데 이를 통해 대리인이 주인을 위해 행동하도록 유인할 수 있기 때문이다. 그런데 대리인이 초지능인 두 번째 주인-대리인 문제에서는 어떠한가? 주인인 초지능 개발자가 이런 인센티브를 알고리즘에 반영할 수 있는가? 필자가 보기에는 불가능하다. 왜냐하면 초지능은 자신보다 지능이 낮은 인간 개발자가 코딩해놓은 인센티브의 본질을 꿰뚫고 달리 행동할 수 있기 때문이다. 이런 의미에서 저자가 주인-대리인 문제의 관점에서 초지능의 통제 문제를 검토하려는 시도는 그다지 적절하지 않다고 생각한다. 초지능은 이 문제 자체를 무력화시킬 정도의 힘이 있기 때문이다. 저자가 우려했던 대로 이것은 지극히 인간적인 발상이다.

그렇다면 초지능을 통제할 수 있는 방법은 전혀 없는 것인가? 이와 관련해 저자는 두 가지 가능성을 검토한다. 하나는 능력 통제방법을 고려하는 것이다. 능력 통제방법은 초지능이 할 수 있는 일을 제한함으로써, 원하지 않는 결과가 나타나는 것을 막으려는 방법이다. 다른 하나는 동기 선택방법인데 초지능이 하고자 하는 것을 잘 조율하여, 원치 않는 결과가 도출되는 것을 예방하려는 통제방법이다. 조금만 생각해봐도 이런 방식으로 초지능을 통제한다는 발상이 얼마나 나이브한지 알 수 있다. 저자도 충분히 인지하고 있었을 것이지만 초지능을 통제한다는 것이 얼마나 어려운 일인지 강조하기 위해 일부러 이에 대해 상세하게 다룬 것으로 보인다. 일종의 역설적인 접근이라 할 수 있다.

저자는 이런 관점에서 현실에서 구현 가능한 구체적인 초지능 시스템의 형태들을 검토한다. 이런 논의에서 저자의 독창적인 사고를 발견할 수 있다는 것이 필자의 생각이다. 저자는 구체적인 초지능 시스템의 형태로 오라클, 지니. 소버린 및 툴을 비교 검토한다. 각각은 나름의 독특한 특징이 있는 시스템에 해당된다. 예컨대 저자는 다음과 같이 말한다. “오라클은 질의-응답 시스템이다. 인간의 언어로 받은 질문에 대해서 텍스트 형태의 답을 주는 식이다........어떤 형식이든 간에, 인간의 언어로 구성된 질문에 답을 할 수 있는 영역-일반적인 능력을 가진 오라클을 구축하는 것은 인공지능-완전의 문제이다. 이것이 가능하다면 인간의 언어뿐만 아니라 인간의 의도까지 이해할 수 있는 굉장한 능력을 갖춘 인공지능의 구축이 가능할 것이다.”(269쪽)

이에 덧붙여 저자는 지니는 명령 실행 시스템이라고 말한다. 소버린 또한 명령 시스템인데 지니보다는 더 범위가 넓고 장기적인 목적을 실행하기 위한 시스템이라고 정의한다. 툴-인공지능은 초지능에 에이전트가 아닌 단순한 툴(tool)로서의 역할을 부여하는 것을 말한다. 이런 인공지능은 자신의 고유한 의지를 갖고 있지 않다. 이런 면에서 초지능이라고 부르는 데는 문제가 있다. 범용인공지능보다 못한 부분이 있다는 것을 의미하기 때문이다. 이와 같이 여기서 언급한 다양한 시스템들을 포함해 초지능 시스템의 형태를 선택하는 방법은 매우 다양할 것이다.

그런데 이 가운데 어떤 시스템을 선택하더라도 통제 문제는 여전히 미해결의 문제로 남을 것이다. 어떤 시스템이 인간의 관점에서 더 안전한지 아무리 연구해도 별다른 진전을 이룩하기 어려울 것이다. 이와 관련해 저자는 다음과 같이 지적한다. “어떤 시스템이 가장 안전한지에 대해서는 더 많은 연구가 필요하다. 인공지능의 배치환경에 따라서 답이 달라질 수 있다. 안전성만 고려한다면, 능력 통제와 동기 선택방법이 가능한 오라클이 당연히 가장 우위이다. 동기 선택만 가능한 소버린이 더 낫다고 할 수 있다. 그러나 오라클은 오퍼레이터에게 굉장한 권한을 부여할 수 있으므로, 오퍼레이터는 부패하거나 권한을 현명하지 못한 방법으로 오용할 위험성이 있다. 반면에 소버린은 이런 위험에 대한 보호책을 둘 수 있다. 따라서 안전성 순위를 쉽게 판정할 수는 없다.”(288쪽) 이것은 뾰족한 방법이 없다는 저자의 고백이라 할 수 있다. 존재적 위험을 초래할 수 있는 초지능의 통제 문제는 문제 제기 자체가 성립하지 않을 수도 있다는 것이 필자의 생각이다. 이런 이유로 맥스 테그마크가 『라이프 3,0』에서 밝혔던 인류에 우호적인 초지능의 개발에 대해 지극히 회의적이다. 아마도 고인이 된 스티븐 호킹도 이런 이유에서 초지능의 위험을 경고했을 것으로 짐작된다.

■ 우리에게 가능한 전략은 무엇인가?

지능폭발 이후 등장하는 초지능의 상상을 초월하는 능력을 감안하고, 또한 초지능은 인간의 지능과는 전혀 다른 종류의 지능일 가능성을 인정하며, 어떤 방식을 동원하더라도 초지능을 통제하는 것은 사실상 불가능하다는 점을 고려한다면 과연 인류는 존재적 위험을 피할 수 있는가? 그런데 왜 우리는 이런 질문을 제기해야 하는가? 이런 가공할 파괴력을 가진 기술의 개발을 중단하면 문제를 해결할 수 있지 않은가? 저자도 지적했고 이미 많은 전문가들이 우려하듯이 인공지능 개발을 중단하는 일은 이제 불가능하다. 어떤 정부, 어떤 조직도 이 일을 수행할 수 없을 것이다. 그 이유는 역설적으로 미래 초인공지능을 선점함으로써 얻는 이득이 상상을 초월하기 때문이다. 인간은 초인공지능을 개발하는 연구를 멈추지 않을 것이다. 그렇다면 그나마 존재적 위험을 줄이기 위해 우리에게 남은 과제는 무엇인가? 이것이 우리가 궁구(窮究)해야 할 문제인 것이다.

먼저 생각해 볼 수 있는 것은 초지능에게 인간에게 우호적인 태도를 견지하도록 코딩하는 방법을 찾는 것이다. 저자는 이것을 가치-탑재 문제라 부르며 여러 가지 가능한 가치-탑재 방법을 비교 검토한 후 사실상 어렵다면서 다음과 같이 말한다. “좀더 명확히 하면, 어려운 부분은 인공지능이 인간의 의도를 어떻게 이해하도록 하는가의 문제가 아니다. 초지능은 이런 이해 정도는 쉽게 획득할 것이다. 그보다는 우리가 의도한 대로 묘사된 가치를 추구하도록 인공지능에게 동기를 부여하는 것이 어려운 문제이다.”(350쪽) 아무리 뛰어난 전문가들이 모여 알고리즘을 개발하고 그 안에 인간에게 우호적인 가치를 내장하도록 프로그래밍한다고 하더라도 초지능은 그 의도를 간파하고 달리 행동할 수 있는 것이다.

그리고 설사 가치-탑재 문제가 해결된다고 하더라도 초지능에게 심어줄 적절한 가치체계에 대해서도 의견이 일치하기 어렵다. 저자는 무엇이 윤리적인가에 대한 철학자들의 합의가 어렵다는 현실을 예로 들면서 이 문제 또한 결코 쉽지 않다는 사실을 강조한다. 이 경우 우리가 기대할 수 있는 최선은 누군가 합리적이고 도덕적인 사람, 즉 성인군자의 가치가 탑재되기를 바라는 것이다. 그런데 오로지 도구적 합리성의 원칙에 의해 주어진 환경에서 가장 효율적으로 문제를 해결하도록 개발될 초지능에 이런 가치를 탑재한다는 자체가 모순이다. 이것 또한 존재적 위험을 가중시키는 요인으로 작용할 수 있다. 약인공지능에서 초인공지능으로 업그레이드되는 과정 자체가 효율성 가치 외의 다른 가치는 모두 배제하는 것을 디폴트(default)모드, 즉 기본 모드로 채택할 가능성이 높기 때문이다. 이것이 개발자들의 궁극적인 목적을 반영하는 것이리라,

이와 같이 초지능으로 가는 길에는 인류의 생존을 위협하는 존재적 위험이 도사리고 있다는 점을 강조하면서도 저자는 일말의 희망 내지 가능성의 끈을 놓지 않는다. 아마도 이 부분은 이 책을 읽는 사람들의 불안을 덜어주기 위한 것으로 보인다. 필자에게는 이 대목에서 저자가 제시하는 논리는 일관성도 없고 설득력도 없어 보이기 때문이다. 예컨대 저자는 다음과 같이 초지능의 장점을 지적한다. “어떤 기술들은 존재적 위험에 양면적인 효과를 나타내어 어떤 위험은 증가시키면서도 다른 위험은 감소시키기도 한다. 초지능 또한 그런 기술이다.......더불어 초지능이 독점적 지배체제를 이루는 상황에서는 적어도 범세계적 조정 문제에서 기인하는 많은 비우발적이고 인위적인 존재적 위험들은 제거될 것이다. 이러한 것에는 전쟁의 위험, 기술 경쟁, 바람직하지 않은 경쟁과 발전, 그리고 공유지의 비극이 있다.”(406쪽) 설사 이런 문제들을 해결해 준다고 하더라도 존재적 위험에 비하면 그야말로 경미한 것들이다. 저자는 이런 점을 거론하면서 다소나마 위안을 받으라는 것이다.

그러면서 저자는 나노기술이 개발되기 전에 초지능이 먼저 개발되어야 한다고 역설한다. 이와 관련해 저자는 다음과 같이 말한다. “중요한 것은 진보된 나노 기술과 같은 다른 위험한 기술이 발달되기 전에 초지능을 가지는 것이다. 기술이 개발되는 시점의 순서만 맞는다면 이것이 언제 이루어질 것인지의 여부는 중요하지 않을 것이다. 초지능이 나노 기술처럼 잠재적으로 위험한 다른 기술보다 먼저 개발되어야 하는 근거는, 초지능은 나노 기술이 초래하는 존재적 위험을 줄일 수 있지만, 그 반대의 일은 일어나지 않기 때문이다.”(407쪽) 필자는 저자가 이 대목에서 왜 이런 말을 했는지 이해하기 어렵다. 그리고 나노기술이 더 위험하다는 근거가 무엇인지도 모르겠다. 어쨌든 저자의 주장에 의하면 더 위험한 나노기술로 인한 피해를 줄이기 위해서는 초지능이 먼저 개발되어야 한다는 것인데, 존재적 위험보다 더 큰 피해가 무엇인지 모르겠다.

그리고는 저자는 지능폭발이 예상외로 매우 느리게 진행될지 모른다면서 우리에게 희망이 없는 것은 아니라는 취지로 말한다. 앞에서 개발 속도를 논할 때는 느린 개발 가능성을 가장 낮게 보았는데 말미에 와서는 역으로 이 가능성을 부각시키는 이유를 모르겠다. 또한 초지능의 위험을 감소시키기 위해서는 이에 대한 전략적 분석과 인간의 능력 배양이라는 두 가지 방법을 이용해야 한다고 역설한다. 그러나 여전히 필자는 이런 노력이 과연 존재적 위험을 줄일 수 있을지 의문이다. 이 점은 저자의 다음 표현에도 그대로 드러나 있다. “그러나 곧 있을 지능 대확산은 다른 종류의 도전을 가져올 수도 있다. 통제 문제는 선견지명, 추론, 그리고 이론적 통찰을 필요로 한다. 축적된 역사적 경험도 별로 도움이 되지 못한다. 지능 대확산을 직접 경험하는 것은 가능하지 않고, 지능 대확산의 많은 특성들로 인해서 통제 문제는 유래가 없고 적절한 역사적 선례마저 찾을 수 없는 것이 된다.”(414쪽)

미래에 초지능으로 인해 인류가 직면하게 될 존재적 위험에 대한 저자의 마지막 조언은 우리 인간의 인지 능력을 최대한 끌어 올리자는 것이다. 그럼으로써 초지능이 초래한 문제에 대해 더 진지하게 고민하고 협력할 수 있는 역량을 키우는 것이 급선무라고 강조한다. 저자는 아직 시간적 여유가 있다면 다음과 같은 희망적인 메시지를 전한다. “지능 대확산은 여전히 수십 년 이후의 일일 것이다. 우리가 맞닥뜨리고 있는 도전에 대처하기 위해서는, 비록 이 도전이 가장 비정상적이고 인간미가 없는 물체임에도 불구하고 우리의 인성, 즉 우리의 근본 상식 그리고 푸근한 품위 같은 성격에 어느 정도 의지해야 한다. 이 해결책의 단초를 담고 있는 모든 인적 자원을 총동원해야 한다.”(457쪽) 이런 노력이 성과를 거둘 수 있을지 의문이지만 글로벌 차원에서 이에 대한 합의가 이루어지길 고대한다.