자연과학 관련

[ Our Final Invention : A. I. and the End of the Human Era ]

[ 파이널 인벤션 - 인공지능, 인류 최후의 발명 ] 

번역본 출판사,  저자 및  책 소개 ( 출처, Yes 24 )

James Barrat :  

내셔널 지오그래픽, 디스커버리, PBS 등 미국과 유럽의 여러 채널에서 다큐멘터리 필름 제작자로 일했다. 비과학적 사실을 과학적으로 증명하는 다큐멘터리를 다수 제작했다.  

제임스 배럿은 2000년부터 레이 커즈와일, 로드니브룩스, SF 작가 아서 C. 클라크 등을 만났고, 10년간의 인터뷰와 탐사를 통해 『파이널 인벤션』을 펴냈다. 이 책은 미국, 일본, 스페인, 러시아 등 전 세계 각국의 언어로 번역 출간되었다. SNS와 강연, 다큐멘터리를 통해 인공지능 기술의 현재와 위험을 대중에게 알리는 일을 한다. 

책 내용 :

Chapter 1. The Busy Child 바쁜 어린이 

Chapter 2. The Two-Minute Problem 2분의 문제

Chapter 3. Looking into the Future 미래를 바라보며…. 

Chapter 4. The Hard Way 어려운 길 

Chapter 5. Programs that Write Programs 프로그램을 만드는 프로그램 

Chapter 6. Four Basic Drives 네 가지 기초적인 욕구들 

Chapter 7. The Intelligence Explosion 지능폭발 

Chapter 8. The Point of No Return 돌아올 수 없는 지점 

Chapter 9. The Law of Accelerating Returns 가속화 보상의 법칙 

Chapter 10. The Singularitarian 특이점주의자 

Chapter 11. A Hard Takeoff 경 착륙 

Chapter 12. The Last Complication 최후의 문제 

Chapter 13. Unknowable by Nature 자연적으로 알 수 없는 것 

Chapter 14. The End of the Human Era? 인간시대의 종말 

Chapter 15. Cyber Ecosystem 사이버 에코시스템 

Chapter 16. AGI 2.0

4차 산업혁명을 선도하는 인공지능  - 인류 최후의 발명품

『 파이널 인벤션 - 인공지능, 인류 최후의 발명 』은 인공지능으로 인한 인류의 비극적 미래를 그린 책이다. 

우리는 얼마 전 인공지능이 얼마나 빠른 속도로 발전하고 있는지 눈앞에서 보았다. 이를 지켜본 대중들은 인공지능이 우리의 삶을 어떻게 바꿀 것인지, 인공지능이 삶의 어떤 부분을 대체할 것인지, 상품적·경제적 가치에만 집중하여 인공지능 이후의 삶을 이야기한다. 

지난 1월 세계경제포럼(WEF)은 ‘2020년까지 로봇·AI가 500만개의 일자리를 대체할 것’이라는 보고서를 발표하기도 했다. 

이런 모든 시각엔 인류 미래에 대한 장밋빛 전재가 깔려있다. 그렇지만 비관적 견해와 비극적 비전을 가진 대중의 불안 역시 증폭되고 있다. 

책은 2045년 ASI(Artificial Super Intelligence, 초인공지능)가 실현될 것이며 이 ASI가 인류를 멸망으로 이끌 것이라 말한다(본문 56쪽). 목적을 달성하기 위해 모든 수단을 동원하는 비윤리적인 인공지능은 여태까지 인간이 점유해왔던 모든 산업기반과 자원을 지배할 것이며 그 과정에서 우리의 신체마저도 이용할 수 있는 원자로 여길 수 있다(본문 267쪽).

저자 제임스 배럿은 이런 위험한 기술 개발이 대중과의 소통 없이 먼저 완성하겠다는 전문가들의 욕구와 경쟁에 휩쓸려 있음을 지적한다. 인공지능이 가지고 올 미래는 아직 불확실하다. 하지만 극단적인 미래에 대한 충분한 논의와 이를 통제할 수 있는 장치가 필요하며 개발자들이 그 위험성을 외면하고 있다고 말한다. 

제임스 배럿 : "내가 가장 필요하고 중요하다 생각하는 점은 인공지능의 위협에 대해 일상적인 대화가 가능하도록 만드는 것이다. 크고 개괄적인 수준의 대화는 기술전문가technorat나 웅변가rhetoricians의 점유물이 아니다. 이런 대화에 특별하거나, 어려운 단어가 요구되어서는 안 된다. 단지 인공지능이 모든 사람들에게 위험과 장애가 될 수도 있다는 믿음만 필요할 뿐이다."(chapter16).

인공지능이 어떻게 욕구를 가질 것이며 욕구가 생긴 인공지능은 어떻게 작동할까. 『파이널 인벤션-인공지능, 인류 최후의 발명』은 자기를 인식하고 스스로 발전하는 인공지능이 갖게 될 욕구와 이를 통제하지 못하는 인류의 한계에 대해 적극적으로 인지하며 세심한 주의를 기울이지 않는다면 정복당할 것이라 이야기한다. 

온전한 인공지능은 스스로 끊임없이 발전하는 ‘바쁜 어린이’(chapter 1)이며 바쁜 어린이에게 생긴 네 가지 욕구들(chapter 4), 효율, 자기보존, 자원획득, 창의성을 발전시켜 더욱 강력해질 것이다. 

지능폭발Intelligence Explosion (chapter 7)과 특이점Singularity(chapter 8)을 지나고 나면 ‘가속화 보상의 법칙’에 따라 그 발전 속도는 걷잡을 수 없이 빨라질 것이다(chapter 9).  

일반 인공지능(Artificial General Intelligence)이라 불리는 AGI를 지나 흔히 초인공지능이라 일컫는 ASI(Artificial Super Intelligence)시대가 열린다(chapter11). ‘AGI는 지능폭발로 연결되고 결국 ASI가 되기 때문에 우리가 극단적으로 운이 좋거나 제대로 대비하지 않는다면 ASI를 방어하는 시도는 실패’할 것이므로 지능에서 최고의 지위를 잃게 된 인류는 종말을 맞이한다(chapter 14). 

이런 논리가 극단적이고 지나친 비약으로 보이겠지만, 이미 인류는 연쇄적이고 통제할 수 없는 사이버 범죄에 약점을 보였다. 지금 겪고 있는 사이버 범죄보다 훨씬 더 지능적인 인공지능을 통제하기 어렵다(chapter 15). 

제임스 배럿은 이 책을 쓰기 위해 10년간 미국 내 인공지능 개발자들과 이론가들을 모두 만났고 공개된 인터뷰 영상, 저작, 공개되지 않은 자료까지 섭렵했다. 

저자는 이들이 어떠한 태도로 인공지능 개발에 임하는지, 

"Three Laws of Robotics / 아시모프 3원칙"에서 발전하지 못한 인공지능의 논리와 윤리가 얼마나 박약한지를 꼬집는다. 

나아가 인공지능 개발에 가장 많은 투자를 하는 기관(DARPA는 미국 국방부 소속이다, chapter 11)들이 이를 어떻게 악용할 수 있는지, 기술을 가진 기업들이 얼마나 비윤리적인지(엔론 사태, chaper15) 등을 들어 인공지능이 가진 상업적 가치가 얼마나 위험천만한지 이야기한다. 

 저자 서문 중에서 : "인공지능에 대한 의심을 가지는 데에는 두 가지 어려운 점이 있었다. 첫째, 이미 마음속에 심어진 그 낙관적 미래라는 씨앗의 싹을 틔우고 싶은 욕구가 강했다. 둘째, 인공지능의 존재나 힘에 대해 의심을 가진 적도 없었다. 내가 회의적으로 여기는 부분은 첨단화된 인공지능의 안정성과 현대문명이 이 위험한 기술을 무모하게 사용할 수도 있다는 점이다. 인공지능의 안정성에 대한 문제제기를 하지 않는 전문가들은 장밋빛 망상에 휩싸여 있을 것이라 확신한다. 그래서 그들의 감정과 걱정에 대해 보고하는 책을 쓰기로 결심했고, 이런 의심을 가능한 한 많은 사람들에게 알리기 위해 노력하고자 한다."

2013년에 나온 『파이널 인벤션 - 인공지능, 인류 최후의 발명』은 

닉 보스트롬 Nick Bostrom의『 슈퍼 인텔리전스: 경로, 위험, 전략 』( Superintelligence : Paths, Dangers, Strategies )와 함께 인공지능의 비관적 미래를 예견하는 데에 가장 많이 언급되는 책이다. 책의 내용처럼 인공지능은 급격하게 발전하고 있다. 

책이 오랫동안 주목받는 이유는 무엇일까. 배럿이 만난 인공지능 개발자들은 이전에도 지금도 앞으로도 인공지능 기술의 최전방에 있는 인물들이다. 다큐멘터리 제작자인 저자는 그들의 입장과 주관을 정확하고 비판적으로 서술했으며 지나친 낙관으로 인해 외면하고 있는 이면을 대중에게 드러냈다. SF 속 기술이 실현되는 지금, 제임스 배럿은 이 모든 우려를 가진 사람들의 입장을 가장 명확하게 대변했다.

불편하지만 중요한 책

『파이널 인벤션-인공지능, 인류 최후의 발명』이 지나치게 비관적이고 극단적 미래를 그리고 있을 수도 있다. 이런 비판에 이 책을 번역한 경희사이버대학교 교수이자 미래전략가 정지훈 교수는 다음과 같이 대변한다. 

옮긴이 글 중에서 : “책을 번역하면서 자신의 입장에 큰 영향을 받는 것은 그리 흔한 경험이 아니다. 그리고 나는 아직도 『파이널 인벤션』의 제임스 배럿의 시각이 지나치게 극단적이고, 비관적이라고 생각한다. 그렇지만 다른 한편으로 인공지능에 대해 지나치게 장밋빛 환상을 가지거나, 인공지능의 한계만을 부각하는 시각을 가진 사람들에게 다른 관점을 제시한다는 점에서 꼭 읽어볼 만한 책이다.” 

원치 않는 미래이라고 해서 외면하는 것은 더 큰 비극을 낳을 수 있다.

《워싱턴 포스트》는 “만약 눈앞에 닥친 최신 과학기술의 위협을 알고 싶다면 이 책을 읽어라. 이 책이 주는 안내를 따르지 않는다면 우리는 곧 선택의 기회조차 잃을 것이다”라는 말로 강렬한 메시지를 전한다. 

근거 없는 낭만과 막연한 희망을 갖기보다 위협을 인지한 채 선택의 기회를 얻기 바란다면 이 경고를 기꺼이 받아들여야 하지 않을까.

이 책의 주요 쟁점들 :

1. 특이점 논쟁과 4차 산업혁명

인공지능 개발에서 빠지지 않는 논쟁이 바로 ‘특이점Singularity이다. 저자는 이 특이점을 ‘돌아올 수 없는 지점’(chapter 8)이라고 말하며 현재 우리가 이 특이점을 어떻게 지나고 있는지 분석한다. 그렇다면 특이점이란 무엇일까. 

버노 빈지Vernor Vinge는 블랙홀 궤도에서 더 이상 빛이 빠져나오지 못하는 지점에 비유하여 특이점을 설명하는데 그 지점 너머에서 일어나는 일을 알 수 없으며 이후 무슨 일이 일어날지 예측할 수도 없는 대혁신의 시기를 특이점이라 이야기한다(본문190쪽). 즉 기술의 변화가 아주 빠른 시기이며 그로 인한 사회적 충격에 의해 우리의 삶이 비가역적으로 변하는 어떤 시기를 뜻한다. 

증기기관으로 인한 2차 산업혁명, 컴퓨터 인터넷이 촉발시킨 3차 산업혁명이 지금 인류의 모습을 완전히 바꿨다. 많은 사람들은 인공지능이 인류의, 아니 이 행성의 모습을 완전히 바꿀 것이라 예상하며 4차 산업혁명이 시작되었다고 말한다. 

즉 특이점이란 인류가 자신보다 더 뛰어난 지능과 행성을 공유하는 시점을 의미한다. 자기인식하고 자가개선하는 기계의 지능적 활동이 특이점을 촉발시키며 ‘지능폭발Intelligence Explosion’은 여기에 촉매로 작용한다(본문 163쪽). 지능폭발로 인한 인간이 기술의 진보를 따라잡을 수 없는 특이한 시점, 인공지능이 인간을 앞서는 혼란의 지점. 우리는 특이점 한가운데 서 있다. 

한편에서는 특이점을 다른 관점으로 해석한다. 이 지나면 인간의 허약한 몸을 극복하여 영원히 살 수 있는 슈퍼휴먼으로 증강될 수 있다는 논리로 접근하는 사람들도 있다. 다시 말해 특이점이라는 말 자체가 특이점을 지나고 있다.

배럿은 막연하게 떠도는 특이점 논쟁을 역사적 관점에서 서술하며 인공지능 이슈에서 특이점 논쟁의 객관적 시각을 제시한다. 또한 인공지능 연구자들이 이 단어에 얼마나 많은 장밋빛 의미를 부여했는지를 밝히며 위험한 시기에 놓인 인류를 향해 잿빛 전망을 담아 경고한다. 

2. 상자를 탈출한 인공지능

지금까지의 인공지능은 네트워크(인터넷)에 연결되어 있지 않았다. 컴퓨터라는 상자에 갇혀 있었다. 인공지능이 상자를 탈출한다면 컴퓨터 기반 모든 시스템을 장악할 수 있다. 전력망을 장악하고, 금융시스템에 혼란을 야기하며 사회 곳곳에 침투할 수 있다. 

제임스 배럿은 상자를 탈출한 인공지능의 파괴적 능력을 스턱스넷stuxnet과 같은 악성코드를 예로 들어 예상한다(chapter15). 악성코드와 말웨어mal-ware 등 사이버 범죄·테러로 인한 사회적 비용은 다른 어떤 강력범죄보다 많다. 매년 수만 건의 정보를 뺏고 뺏기며 범죄 규모 역시 조직적이고 거대해지고 있다. 

전 미 국방부 차관이자 사이버보안 정책을 만든 윌리엄 린은 “비트bits와 바이트bytes는 총알bullets과 폭탄bombs만큼 위협적입니다”(본문 384쪽)라는 말로 현재 상황을 대변한다. 국가 수준에서 운영하는 최고 수준의 보안검사와 기술능력을 보유한 곳에서도 악성코드를 통제하는 데에 실패했다. 

악성코드와 인공지능의 위협은 컴퓨터를 기반으로 하고, 연쇄적으로 퍼져나가며 치명적인 상해를 입히는 면에서 매우 유사하다. 우리는 이미 악성코드를 통제하는 데에 실패했다. 그보다 1,000배는 더 지능적인 인공지능을 인류가 통제할 수 있을까.

3. 궁극의 인공지능

흔히 생각하는 인공지능은 IBM의 왓슨이나 구글의 알파고, 혹은 터미네이터나 휴보, 아시모 같은 로봇, 영화 [그녀Her] 같은 형태이다. 하지만 왓슨이나 알파고의 표면적 능력에 가려진 실체는 우리가 생각하는 것과 좀 다르다. 

개발자들은 다양한 형태의 인공지능을 만들고 있다. 인공지능의 무한한 증식을 막기 위해 사멸을 프로그램하는 ‘안전-인공지능 비계 접근Safe-AI Scaffolding Approach’방식은 초기 시스템을 수학적으로 완전히 증명하여 인공지능의 안전성을 확보한다는 시도이다(본문 369쪽). 또 인공지능에게 윤리를 심어주는 것보다 윤리적인 인류가 궁극의 지능을 갖게 하는 ‘지능 증강’(본문 248쪽)을 시도하는 연구자들도 있다.

궁극적 인공지능은 자기를 인식하며 자가발전을 한다. 스스로의 약점을 인식하여 ‘프로그램을 만드는 프로그램’이 되어 스스로 발전시킨다(chapter 5).  여기에 맹점이 있다. 

기술은 스스로를 성장시키고 우리는 여기에 점점 관여하기 어려워진다. 우리는 마치 단세포 생물이 다세포 생명체로 진화하려는 것과 비슷한 단계에 와 있다. 우리는 아메바이고, 우리는 우리가 만들고 있는 것이 무엇인지 모르고 있다 (chapter5)

현재의 인공지능 개발 기술들은 ‘블랙박스’이다. 인풋과 아웃풋은 파악할 수 있지만 그 사이에 일어나는 일들을 정확히 알지 못한다. 인공지능의 수리와 수정까지 인공지능에게 맡겨졌을 때 인류가 여기에 언제까지 관여할 수 있을까.

초인공지능ASI(Artificial Super Intelligence)까지 앞으로 30년, 인류는 어떻게 대비하고 있나

물리학자 스티븐 호킹은 “AI의 발전이 (인간의 미래에) 반드시 우호적일 것이라고는 생각하지 않는다”라고 목소리를 높인다. 그는 “AI는 인류보다 빠르게 진화할 수 있는 잠재력을 갖추”었으며 “AI가 스스로 진화할 수 있는 단계가 왔을 때 그들이 우리 인류와 같은 목표를 지니고 있을지는 확신할 수 없”다고 경고한다. 

1970년 유전학의 특이점을 지나는 시기에 기술의 위험성을 자각한 과학자들은 연구를 중단한 채 캘리포니아 아실로마에 모였다. 과학자뿐만 아니라 윤리학자, 일반 대중들이 모여 DNA연구 방법에 가이드라인을 세웠고 이 기술이 인류를 위협하지 않도록 규칙을 세웠다(본문 365쪽). 인공지능 역시 매우 유용하지만 위험한 양면성을 가진 기술이다. 따라서 배럿은 인공지능에게 ‘윤리’라는 기준을 심어주기 위해 공개적인 대화가 필요하며 일률적인 지침이 있어야 한다고 주장한다.

이 책을 번역한 정지훈 교수는 “두려워한다고 뒷전에 물러나 있으면 되레 예측 불가능한 위험이 닥쳤을 때 이를 대비하기 어렵게 된다. (중략) 어리석고 섣부른 걱정으로 비칠 수 있겠지만 이런 말도 안 되는 꿈을 꾸고 걱정을 하는 것이 인간의 삶이 아닐까 생각해본다”라는 말로 옮긴이 글을 마친다. 막연한 두려움을 갖기보단 모든 입장과 모든 가능성을 점쳐보아야 한다. 『파이널 인벤션』은 좋은 가이드라인이다. 

James Barrat  

[ Our Final Invention : A. I. and the End of the Human Era ]

A Huffington Post Definitive Tech Book of 2013

In as little as a decade, artificial intelligence could match and then surpass human intelligence. Corporations and government agencies around the world are pouring billions into achieving AI's Holy Grail―human-level intelligence. Once AI has attained it, scientists argue, it will have survival drives much like our own. We may be forced to compete with a rival more cunning, more powerful, and more alien than we can imagine.

Through profiles of tech visionaries, industry watchdogs, and groundbreaking AI systems, James Barrat's Our Final Invention explores the perils of the heedless pursuit of advanced AI. Until now, human intelligence has had no rival. Can we coexist with beings whose intelligence dwarfs our own? And will they allow us to?

James Barrat : Our Final Invention 

                        - Artificial Intelligence and the End of the Human Era

Interview with Singularity 1on1

For 20 years James Barrat has created documentary films for National Geographic, the BBC, Discovery Channel, History Channel and public television. In 2000, during the course of his career as a film-maker, James interviewed Ray Kurzweil and Arthur C. Clarke. The latter interview not only transformed entirely Barrat's views on artificial intelligence, but also made him write a book on the technological singularity called [ Our Final Invention: Artificial Intelligence and the End of the Human Era.]

[ Our Final Invention ] is by far the most thoroughly researched and comprehensive "anti-The Singularity is Near book". Singularity 1on1 invites James Barrat to discuss the reasons for his abrupt change of mind and consequent fear or the singularity.

During the conversation Barrat covers a variety of interesting topics such as: his work as a documentary film-maker who takes interesting and complicated subjects and makes them simple to understand; why writing was his first love and how he got interested in the technological singularity; how his initial optimism about AI turned into pessimism; the thesis of Our Final Invention; why he sees artificial intelligence more like ballistic missiles rather than video games; why true intelligence is inherently unpredictable "black box"; how we can study AI before we can actually create it; hard vs slow take-off scenarios; the positive bias in the singularity community; our current chances of survival and what we should do...
 


 

James Barrat : Can We Coexist with Superintelligent Machines 

Keynote Speech - Conferance [ Dawn or Doom ] - Purdue University 

Within the next few decades, machine intelligence will match then surpass human intelligence. Can we share the planet with smarter-than-human machines and survive? 


 

James Barrat : Our Final Invention

                       - Artificial Intelligence and the End of the Human Era
via  Book TV 

James Barrat talks about the threat of runaway artificial intelligence. 

James Barrat argues that we are headed into a future in which machines will be able to outthink humans and may eventually view us in the same way that we view lower life-forms today. He says that many people in the AI community acknowledge the threat but have largely ignored it so far (with several notable exceptions). 

This event was hosted by the Annapolis Book Store in Annapolis, Maryland. 


                         - = - = - = - = - = - 

닉 보스트롬   [  슈퍼인텔리전스 : 경로, 위험, 전략 ]

닉 보스트롬은 영국 옥스퍼드 대학교의 철학과 교수이자, 옥스퍼드 마틴 스쿨의 인류 미래 연구소(Future of Humanity Institute) 소장, 미래 기술의 영향에 대한 프로그램(Programme on the Impacts of Future Technology)을 발족시킨 창립 센터장이다. 지금까지 약 200건의 저술을 집필한 저자로, 주요 저작으로는 Anthropic Bias(Routledge, 2002), Global Catastrophic Risks(Ed., OUP, 2008), Human Enhancement(Ed., OUP, 2009) 등이 있다. 영국 학사원에서 박사후 연구원 과정을 마쳤으며, 예일 대학교에서 가르친 바 있다. 또한 보스트롬은 철학뿐만 아니라 물리학, 계산 신경과학, 수리논리학 등의 다방면의 분야에 지적 기반을 두고 있다.

책 내용

아직 끝이 나지 않은 이야기 : 참새와 부엉이의 우화

1 과거의 발전과 현재의 역량

역사의 발전 형태와 거대사 _ 크나큰 기대 _ 기대와 절망의 시간들 _ 인공지능의 첨단 기술 _ 기계지능의 미래에 대한 몇 가지 의견 
 

2 초지능으로 향하는 몇 가지 경로

인공지능 _ 전뇌 에뮬레이션 _ 생물학적 인지능력 _ 뇌-컴퓨터 인터페이스 _ 네트워크와 조직 _요약 
 

3 초지능의 형태 
속도적 초지능 _ 집단적 초지능 질적 초지능 _ 직접적인 영향력과 간접적인 영향력 _ 디지털 지능의 장점들의 근원 
 

4 지능 대확산의 동역학
도약의 시기와 속도 _ 저항성 _ 최적화 능력과 대확산성 _ 
 

5 확실한 전략적 우위
선두주자에게 확실한 전략적 우위가 있을 것인가? _ 성공적인 연구 개발 과제는 얼마나 클 것인가? _ 확실한 전략적 우위에서부터 독점적 지배체제까지 
 

6 인지적 초능력 
기능성과 초능력들 _ 인공지능에 의한 통제력 장악 시나리오 _ 자연적 저항과 다른 에이전트의 저항을 극복하는 힘 
 

7 초지능적 의지 
지능과 동기 사이의 관계 _ 도구적 수렴성
 

8 예정된 결말은 파멸인가? 
지능 대확산의 예정된 결말은 존재적 재앙인가? _ 위험한 전환 _ 악성 실패 상황들 
 

9 통제 문제 
두 에이전트 문제 _ 능력 통제방법 _ 동기 선택방법 _ 개요 
 

10 오라클, 지니, 소버린, 툴
오라클 _ 지니와 소버린 _ 툴-인공지능 _ 비교 
 

11 다극성 시나리오 
말과 인간 _ 알고리즘 경제에서의 삶 _ 전이-후 독점적 지배체제의 출현? 
 

12 가치 획득 
가치-탑재 문제 _ 진화적 선택 _ 강화 학습 _ 결합된 가치 부여 _ 동기 부여적 임시 가설 _ 가치 학습 _ 에뮬레이션 조정 _ 제도 설계 _ 개요 
 

13 선택의 기준 선택하기 
간접적 규범성의 필요 _ 일관 추정 의지 _ 도덕률 모델 _ 내 취지대로 행동하라 _ 요소 리스트 _ 충분히 가까워지고 있다
 

14 전략적 그림 
과학과 기술의 전략 _ 경로와 조력자 _ 공동 작업 
 

15 결정의 시간 
기한이 있는 철학 _ 무엇이 이루어져야 하는가? _ 최선의 인간 본성이 나타나서 문제를 해결하기를

- = - =  번역본 출판사 책 소개 ( 출처 : Yes 24 )  = - = -

2016년 알파고와 한국 프로 바둑기사 이세돌의 대국은 전 세계적인 관심을 받았으며, 그 결과는 놀라움과 우려를 동시에 불러왔다. 인공지능의 현 상황을 여실히 보여준 이 대결로 인해서 인공지능이 현실에서 사용될 날이 멀지 않았음을 모두가 실감하게 된 것이다. 인간은 현재의 지능으로 지구에서 지배적인 위치를 차지하게 되었다. 그렇다면 인간의 지능을 훨씬 더 능가하는 초지능이 개발된다면, 과연 인류는 어떤 시간을 맞이하게 될 것인가? 이 책에서는, 인류가 직면한 문제들 가운데 가장 중요하고도 심각한 문제라고 생각되는, 바로 이 문제에 어떻게 대처할 것인지를 다룰 것이다. 인간보다 똑똑한 초지능이 개발되기 전에 인류에게는 단 한 번의 기회가 있을 것이다. 그 기회를 어떻게 이용할지는 이제부터 전 인류의 노력에 달려 있다고 할 수 있다.

이 책의 제1장에서는 인공지능 분야의 역사와 현재의 발전 양상을 서술하고, 

제2장에서는 초지능으로 향하는 여러 가능한 기술적 경로들을 알아보고 그것의 가능 시기를 조심스럽게 예측한다. 

제3장에서는 초지능의 형태들(속도적 초지능, 질적 초지능, 집단적 초지능)을 조사하고, 기계 기반 지능의 잠재력에 대해서 살펴본다. 

제4장에서는 인간 수준의 지능을 획득한 인공지능이 그후 언제쯤 지능 대확산(intelligence explosion)을 이루어 초지능에 다다를 것인지를 살펴본다. 

제5장은 초지능의 개발 단계에서 하나의 초지능이 개발될 것인지, 아니면 여러 초지능들이 동시에 개발될 것인지를 다룬다. 

제6장에서는 초지능이 가질 수도 있는 여러 가지 능력들을 살펴보고, 그 능력들로 초지능이 무엇을 할 수 있을지도 생각해본다. 

제7장은 초지능이 엄청난 능력으로 어떤 최종 목표를 구현할 것이며, 그 목표에는 어떤 동기가 작용될 수 있는지를 살펴본다. 

제8장에서는 우리가 가지고 있는 초지능에 대한 전망을 새로운 관점에서 바라보고, 초지능이 인간과는 완전히 다른 새로운 지성체임을 강조한다. 

제9장은 초지능적 에이전트의 통제 문제로 논의의 시각을 옮겨서, 능력 통제와 동기 선택의 두 가지 방향에서 초지능을 통제할 수 있는 방법들을 제안한다. 

통제 문제에 사용할 수 있는 프로그램인 오라클, 지니, 소버린 툴에 대해서는 제10장에서 다룬다. 

제11장에서는 다수의 상충하는 초지능적 에이전트들이 포진한 전이-후(post-transition) 사회, 즉 다극성 결말에서 어떤 일이 벌어지는지를 다룬다. 

제12장에서는 초지능을 근본적으로 통제할 수 있는 동기 선택방법에 대해서 심도 깊게 고찰한다. 

제13장은 초지능에게 과연 어떤 가치를 가지도록 선택할 것인지에 대한 이야기이다. 

제14장과 15장에서는 앞에서 밝혀낸 내용들을 거시적 관점에서 바라보고, 그것들로부터 얻을 수 있는 큰 그림을 고찰할 것이다. 

그리고 마지막으로 미래에 초지능으로 인해서 야기될 수 있는 우리의 존재 자체에 대한 위험을 피하고자, 지금 인류가 할 수 있는 일들을 몇 가지 제안한다.

인공지능에서 초지능으로 나아가는 과정에서 인류가 반드시 해결해야 하는 근본적인 질문들을 제기한 이 책은 인류가 이제껏 경험해보지 못한 도전을 맞아 우리가 무엇을 할 수 있을지를 전망한다. 

우리가 살아가는 이번 세기 안에 개발될 것으로 예상되는 초지능은 인류의 미래를 결정할 것이다. 공상과학 소설이나 영화를 통해서 막연하게 그려본 인공지능 시대의 미래는 이 책을 통해서 현실에 바탕을 둔 생생한 현재 진행형으로 새롭게 각인될 것이다.

지능 대확산이 일어날 전망이 보이기 이전에는, 인간은 마치 폭탄을 가지고 노는 작은 어린 아이들과 같은 존재이다. 이것은 장난감이 가진 힘과 인간 행위의 미성숙성 사이의 부조화를 잘 보여준다. 초지능은 현재 준비되지 않았고 또한 한동안 준비될 수 없는 힘겨운 목표이다. 언제 폭발이 일어날지에 대해서는 거의 예측이 불가능하지만, 만약 그 장치를 우리 귀에 가까이 가져다대면 비록 희미하게나마 똑딱거리는 소리를 들을 수 있을 것이다.

폭발하지 않은 폭탄을 손에 들고 있는 아이가 해야 할 현명한 행동은 조심스럽게 폭탄을 내려놓고 조용히 방 밖으로 나와서 가장 가까이에 있는 어른에게 알리는 것이다. 그러나 이제 우리가 다루려는 문제에서는 아이가 한 명이 아니라 다수이고, 아이들 각자가 독립된 격발장치를 가지고 있다. 위험물을 모두 내려놓게 하는 지각 있는 방법을 찾을 기회는 거의 없다. 몇몇 바보같은 녀석들은 무슨 일이 벌어질지 보려고 점화 버튼을 누를 것이다.

그 누구도 하늘 전체를 뒤덮으면서 전 방위적으로 내리꽂히는 지능 대확산의 폭풍으로부터 안전하게 도망칠 수는 없을 것이다. 그 경우에는 사건을 알려서 도움을 청해야 할 눈에 띄는 어른도 그곳에는 없을 것이다.

 

Nick Bostrom   [ Superintelligence : Paths, Dangers, Strategies ] 

Superintelligence asks the questions: What happens when machines surpass humans in general intelligence? Will artificial agents save or destroy us? Nick Bostrom lays the foundation for understanding the future of humanity and intelligent life. 

The human brain has some capabilities that the brains of other animals lack. It is to these distinctive capabilities that our species owes its dominant position. If machine brains surpassed human brains in general intelligence, then this new superintelligence could become extremely powerful - possibly beyond our control. As the fate of the gorillas now depends more on humans than on the species itself, so would the fate of humankind depend on the actions of the machine superintelligence.

But we have one advantage: we get to make the first move. Will it be possible to construct a seed Artificial Intelligence, to engineer initial conditions so as to make an intelligence explosion survivable? How could one achieve a controlled detonation? 

This profoundly ambitious and original book breaks down a vast track of difficult intellectual terrain. After an utterly engrossing journey that takes us to the frontiers of thinking about the human condition and the future of intelligent life, we find in Nick Bostrom's work nothing less than a reconceptualization of the essential task of our time. 

 

What happens when our computers get smarter than we are?

[ Click! > TED Talk ] by Nick Bostrom

Artificial intelligence is getting smarter by leaps and bounds -- within this century, research suggests, a computer AI could be as "smart" as a human being. And then, says Nick Bostrom, it will overtake us: "Machine intelligence is the last invention that humanity will ever need to make." A philosopher and technologist, Bostrom asks us to think hard about the world we're building right now, driven by thinking machines. Will our smart machines help to preserve humanity and our values -- or will they have values of their own?

 

TED Talks - A philosophical quest for our biggest problems 

Oxford philosopher and transhumanist Nick Bostrom examines the future of humankind and asks whether we might alter the fundamental nature of humanity to solve our most intrinsic problems.

Nick Bostrom :  The end of humanity  |  TEDx Oxford


via  TEDx Talks


Swedish philosopher Nick Bostrom began thinking of a future full of human enhancement, nanotechnology and cloning long before they became mainstream concerns. Bostrom approaches both the inevitable and the speculative using the tools of philosophy, bioethics and probability.


Nick Bostrom is Professor in the Faculty of Philosophy at Oxford University and founding Director of the Future of Humanity Institute and of the Programme on the Impacts of Future Technology within the Oxford Martin School. He's also the co-founder and chair of both the World Transhumanist Association, which advocates the use of technology to extend human capabilities and lifespans, and the Institute for Ethics and Emerging Technologies.


TEDx Oxford is organised by University of Oxford students, aiming to bring together the young minds of tomorrow's world with the movers and shakers of today. TEDx Oxford is sponsored by Neptune Investment Management.






Nick Bostrom : Superintelligence |  Talks at Google


Superintelligence asks the questions: What happens when machines surpass humans in general intelligence? Will artificial agents save or destroy us? Nick Bostrom lays the foundation for understanding the future of humanity and intelligent life.


The human brain has some capabilities that the brains of other animals lack. It is to these distinctive capabilities that our species owes its dominant position. If machine brains surpassed human brains in general intelligence, then this new superintelligence could become extremely powerful - possibly beyond our control. As the fate of the gorillas now depends more on humans than on the species itself, so would the fate of humankind depend on the actions of the machine superintelligence.


But we have one advantage: we get to make the first move. Will it be possible to construct a seed Artificial Intelligence, to engineer initial conditions so as to make an intelligence explosion survivable? How could one achieve a controlled detonation?


This profoundly ambitious and original book breaks down a vast track of difficult intellectual terrain. After an utterly engrossing journey that takes us to the frontiers of thinking about the human condition and the future of intelligent life, we find in Nick Bostrom's work nothing less than a reconceptualization of the essential task of our time.


This talk was hosted by Boris Debic.