빅데이터 전략연구소의 《블록데이터 혁명》
저자: 블록데이터 전략연구소
역자: 이지은
출판사: 앵글북스(2019)
필자가 여기 소개하는 글은 이 책을 감수하면서 쓴 감수자의 글이다. 그런데 중국 당국은 필자의 글을 검열한 후 부적절한 부분이 있다는 이유로 국내 출판사인 앵글북스에 감수자의 글을 싣지 말것을 요청했다. 이는 명백히 중국 당국의 오만을 보여주는 사건이다. 이 정도까지 간섭할 줄은 상상하지 못했다. 그럼에도 필자는 이 책을 매우 꼼꼼히 읽었고 상당히 중요한 내용을 담고 있다고 생각하기에 감수자의 글을 여러분과 공유하려고 한다. 다음에 실린 글이 필자가 쓴 감수자의 글이다.
빅데이터에서 블록데이터로의 패러다임 전환
■ 빅데이터: 진실에 접근하기 위한 힘
빅데이터(Big Data)는 더 이상 데이터 전문가들의 전유물이 아니다. 일반대중도 빅데이터를 모르면 시대 흐름에서 뒤처진다는 사실을 인지하고 있다. 사물인터넷(IoT)과 다양한 소셜미디어를 통해 축적된 방대하고 복잡한 데이터를 빠르게 처리할 수 있는 인공지능 알고리즘이 개발되면서 빅데이터 분석은 기업과 비영리단체, 정부를 포함한 모든 조직의 성패를 좌우할 정도로 중요한 위치를 점하고 있다. 바야흐로 우리는 빅데이터 시대에 살고 있다. 위키피디아에 따르면 빅데이터는 1990년대부터 사용되기 시작했는데 일반대중에게 널리 알려진 것은 몇 년이 채 되지 않는다. 그럼에도 빅데이터는 이 시대의 가장 중요한 자원으로 모든 분야에 걸쳐 절대적인 영향력을 행사하고 있다.
이 책은 빅데이터에서 진일보한 블록데이터(Block Data)의 본질, 응용과 관련된 여러 측면을 깊이 있게 다루고 있다. 모든 데이터는 우리에게 유익한 정보를 제공할 때 비로소 가치를 갖는다. 간단히 말해 ‘데이터 + 의미 = 정보’라는 공식이 성립하는데, 이것은 빅데이터의 경우 더욱 그렇다. 빅데이터가 차별화되는 이유는 더 정확한 정보를 얻을 수 있는 원천이기 때문이다. 빅데이터를 통해 발견하는 크고 작은 패턴은 우리에게 진실에 접근할 수 있는 정보를 제공한다. 그렇지 않다면 빅데이터는 문자 그대로 양만 많은 잡동사니에 불과할 것이다.
■ 효율 극대화: 빅데이터의 빛
정보의 관점에서 빅데이터를 바라볼 때 상반된 두 가지 측면이 존재한다. 우선 빅데이터는 사물인터넷과 소셜미디어를 통한 빅데이터의 생성 → 인공지능 알고리즘을 이용한 분석 → 새로운 정보에 입각한 가시적 성과 → 빅데이터의 생성’이라는 선순환을 통해 모든 조직의 효율을 높일 수 있다. 예를 들어 기업은 비용을 절감하고 시장점유율을 높임으로써 더 많은 이윤을 얻을 수 있다. 기후 변화에 대처하는 국제기구는 기후 변화에 영향을 미치는 요인과 관련된 정확한 정보를 바탕으로 문제 해결을 위한 효과적인 방안을 강구할 수 있을 것이며 건강과 관련해서는 웨어러블 센서를 통해 얻은 빅데이터를 분석해 인간의 건강 유지와 수명 연장에 크게 기여할 것이다. 한 마디로 기업은 더 많은 이익을 얻고, 정부는 더 효과적으로 공공서비스를 제공하고, 개인은 더 건강하게 오래 살 수 있을 것이다. 이 모두가 빅데이터와 인공지능 알고리즘이 가져올 미래의 긍정적인 모습이다.
이처럼 빅데이터가 가져올 미래에 대한 전망은 대체로 낙관적이다. 빅데이터가 우리 삶을 더욱 풍요롭게 하고 미래를 보다 정확하게 예측하도록 유도해 여러 가지 위험을 줄이고 자원을 효율적으로 활용하는 데 기여하리라는 기대감 때문이다. 종합적으로 볼 때 필자 또한 대부분의 전문가들과 마찬가지로 빅데이터가 사회 전반의 효율성을 높이는 데 크게 기여하리라는 주장에 동의한다. 빅데이터 전문가 버나드 마(Bernard Marr)는 《빅데이터: 4차 산업혁명의 언어》에서 45개의 다양한 기업과 비영리 조직의 사례를 구체적으로 분석했다. 그는 크고 작은 기업들이 어떻게 빅데이터를 활용해 비용을 절감하고 고객의 요구에 적절히 대응해 시장을 넓히고 수익을 늘릴 수 있었는지 간단명료하게 설명하고 있다. 그는 자신의 논리가 페이스북, 구글, 우버, 에어비앤비 등 인터넷 플랫폼 기반의 IT 기업뿐 아니라 월마트, 제너럴일렉트릭 등 전통적 대기업, 더 나아가 정육점이나 레스토랑 체인 등 작은 기업에도 적용된다는 점을 강조했다. 한 마디로 크고 작은 다양한 조직이 빅데이터를 이용해 최대 효율을 달성할 수 있다는 것이다.
■ 불평등 악화: 빅데이터의 그림자
한편 빅데이터 전문가 캐시 오닐(Cathy O’Neil)은 《대량살상 수학무기》에서 다양한 실무 경험을 바탕으로 빅데이터 분석을 위한 수학적 알고리즘이 인공지능과 결합해 여러 분야에서 어떤 파괴적 영향을 미치고 있는지 다양한 사례를 통해 구체적으로 분석했다. 오닐이 특히 강조한 점은 수학적 알고리즘이 대부분의 경우 공정하지 않다는 것이다. 알고리즘을 작성하는 과정에는 설계자의 주관적 판단이 개입되는 경우가 상당할 뿐 아니라 현실과 모델의 차이로 말미암아 부정적 피드백 루프(feedback loop)가 형성된다고 주장했다. 이런 이유로 빅데이터는 대부분 공정한 결과를 달성하기는커녕 불평등을 조장한다는 것이다. 물론 오닐의 주장 가운데 액면 그대로 받아들이기 어려운 부분도 있다. 그렇더라도 공평성과 같은 가치를 전제로 빅데이터 분석을 위한 알고리즘이 개발되지 않는 것만은 분명하다. 어떤 기업도 이런 가치를 전제로 빅데이터를 활용하지 않기 때문이다.
이처럼 빅데이터의 빛과 그림자는 ‘효율성과 공평성’이라는 관점에서 접근할 수 있다. 빅데이터는 자원의 효율적 사용을 가능하게 만들어 사회 구성원 모두에게 이익을 가져다줄 수 있지만 현재와 같이 소수의 초국적기업이 데이터를 독점하는 상황에서는 공평성을 훼손할 수 있다. 과거에는 효율성과 공평성은 상충적 관계에 있어 효율성을 달성하려면 어느 정도 공평성을 희생해야 한다는 논리가 지배적이었다. 그런데 2008년 금융위기를 계기로 이 논리가 근거 없는 주장이라는 사실이 설득력을 얻기 시작했다. 효율성과 공평성은 상보적이라는 것이다. 즉 불평등이 악화되면 오히려 효율성이 낮아진다는 반론이 설득력을 얻고 있다. 이 점을 고려한다면 빅데이터 시대를 마냥 반길 수만은 없다.
■ 인간 소외: 데이터주의의 종착역
빅데이터의 빛과 그림자는 정보의 질적 향상과 정보 독점이라는 관점에서 접근할 수도 있다. 우선 빅데이터 분석을 통해 얻는 양질의 정보는 다양한 분야에서 우리 삶의 질을 획기적으로 높이는 데 기여하고 있으며, 이런 추세는 인공지능 기술의 발전에 따라 더욱 가속화될 전망이다. 반면 소수의 초국적기업에 정보가 독점되는 현상 역시 더욱 심화될 수 있는데, 이로 말미암아 승자독식 현상이 만연하게 되고, 결국 그 피해는 일반대중이 감당해야 할 것이다. 이런 극단적인 정보 독점에 따른 결과와 관련해 역사학자 유발 하라리(Yuval N. Harari)는 《호모 데우스》에서 데이터주의(Dataism)라는 용어를 사용해 엄중 경고했다. 하라리는 데이터를 신(神)처럼 받드는 한편 인간 스스로 자유의지를 부정하고, 빅데이터의 분석 결과를 맹종하는 상황을 묘사하기 위해 데이터주의를 비판하고 있다.
예를 들어 아마존, 페이스북 등 우리의 일거수일투족에 대한 방대한 데이터를 축적한 기업이 우리가 누구이고, 무엇을 필요로 하는지 우리 자신보다 더 많이 안다면 우리는 자유의지를 포기하고 이들 기업의 지시에 따를 가능성이 높다. 그래서 하라리는 “데이터주의에 따르면 우주는 ‘데이터 스트림’으로 구성되어 있으며, 어떤 현상이나 실체 가치는 데이터 처리에 기여하는 바에 따라 결정된다”고 경고한 것이다. 이 말은 곧 데이터 처리 관점에서 인간보다 인공지능 알고리즘이 뛰어나다면 인간은 더 이상 가치가 없다는 것을 함축하고 있으며, 무엇이든 데이터 축적에 기여할수록 더욱 가치 있다는 뜻을 담고 있다. 바야흐로 데이터 자체가 목적이 되고, 이에 기여하지 못하는 인간은 쓸모없는 계층(useless class)으로 전락할 수 있다는 것이다. 데이터주의의 종착역은 바로 데이터에 의한 인간 소외(疏外)다.
■ 빅데이터 시대에서 블록데이터 시대로
빅데이터는 오늘날 우리가 직면하고 있는 모든 문제를 해결해주는 마법 램프가 아니다. 오히려 빅데이터는 ‘빛과 그림자’라는 대극적인 두 측면을 내포하고 있기 때문에 조심스럽게 다루어야 한다는 점을 유념해야 한다. 특히 개인의 사생활 보호와 보안에 취약할 뿐 아니라 정보 독점을 통해 시장경제의 기반을 취약하게 만들고 민주주의를 약화시킬 수도 있으므로, 이런 의미에서 빅데이터의 문제점에 대해 진지하게 고민해 봐야 한다. 최근 소셜미디어가 민주주의를 위협할 수 있다는 언론 보도는 결코 과장된 이야기가 아니다. 그런데 인터넷 시대의 개방성과 공유 정신은 이런 취약점을 보완할 수 있는 저력을 갖고 있다. 빅데이터에서 블록데이터로의 전환이 그렇다. 이 책은 사회학적·과학적·철학적 관점에서 이런 전환이 품은 의미를 체계적으로 다루고 있다. 이것이 우리가 이 책에 주목해야 하는 이유다.
이 책은 최대 규모의 빅데이터 연구 플랫폼인 중국의 ‘빅데이터 전략’ 연구원들의 공동 노력에 따른 결실이다. 여러 명이 하나의 주제를 가지고 협력해 한 권의 책을 완성했다는 사실 자체가 이 책의 기본 정신인 ‘공유와 협력’을 반영한 것이라고 하겠다. 그리고 이 책의 원제목 《블록데이터 2.0: 빅데이터 시대의 패러다임 혁명》이 시사하듯 이 책은 빅데이터 시대에 이어 도래할 블록데이터 시대를 염두에 두고 쓴 책이라는 점에 주목할 필요가 있다. 특히 중국이라는 폐쇄적 환경에서 이런 책이 출간되었다는 사실을 절대 간과해서는 안 된다. 이것은 중국이 세계적 추세를 선도하겠다는 의지의 방증으로 볼 수 있기 때문이다.
빅데이터에 관심이 있어 국내외의 관련 저서들을 탐색하고 읽는 과정에서 필자는 빅데이터와 관련된 책 대부분이 빅데이터의 활용 방법을 설명하거나 빅데이터 경제의 미래 모습을 전망하는 등 기술적·경제적 측면에 초점을 맞추고 있다는 것을 알게 되었다. 그러나 이 책은 다른 책들과는 달리 철학적·사회학적·과학적 관점에서 데이터가 갖는 의미에 대한 통합적 논의를 전개하고 있다. 한 마디로 빅데이터와 블록데이터로 상징되는 오늘날의 데이터 사회·경제에 대한 이론적 기반을 제공하고 있는 것이다. 그럼, 과연 블록데이터란 무엇을 의미하는가?
■ 블록데이터의 탄생: 빅데이터의 업그레이드 버전
인류가 기록을 남기기 시작했던 5,000여 년 전 수메르 문명 이래로 데이터는 어떤 형태로든 늘 존재해 왔다. 다만 과거에는 데이터의 양이 많지 않고 형태도 단조롭다 보니 이에 대한 분석 기법도 변변치 않았다. 이런 상황은 큰 변화 없이 수천 년간 이어져 왔다. 그런데 최근 빅데이터의 출현으로 이런 패러다임에 근본적 변화가 생겼다. 빅데이터는 양이 방대할 뿐 아니라 데이터 자체가 복잡해 기존의 관리와 처리 방식의 한계를 넘는 데이터를 말한다. 여기에는 정형 데이터뿐 아니라 반정형 데이터, 비정형 데이터가 모두 포함된다. 최근 소셜미디어가 활성화되면서 비정형 데이터의 비중이 크게 증가하고 있으며, 이에 따라 분석 알고리즘도 빠르게 발전하고 있다.
저자는 서문에서 블록데이터는 빅데이터의 선진화된 단계를 상징한다고 선언하면서 블록데이터 시대는 돌이킬 수 없는 대세라고 주장한다. 또한 블록데이터는 새로운 과학혁명의 전령으로 우리의 사고방식과 삶을 변화시키고 물질과 의식의 구성에 변화를 초래하며 우리의 세계관과 가치, 방법론에 일대 전환을 가져올 것이라고 단언한다. 그야말로 새로운 문명으로의 전환을 촉진하는 기술이라는 것이다. 저자는 “블록데이터는 여러 개의 데이터를 블록이라는 단위로 묶은 뒤 다양한 종류의 영역, 분야별 데이터 간의 자유로운 이동과 적극적 공유를 통해 새로운 가치를 창출한다”고 말하면서 덧붙여 빅데이터의 ‘지향성 취합’이 갖는 한계로 말미암아 데이터의 몰개성화, 데이터의 개방성 차단, 데이터 독점 등의 문제가 발생했는데 블록데이터는 이들 문제를 해결하는 데이터베이스로 역할을 한다고 주장한다. 한 마디로 블록데이터는 빅데이터의 효과를 극대화할 뿐 아니라 빅데이터에서 비롯된 여러 문제를 해소할 수 있는 한 단계 업그레이드된 기술이라는 것이다.
■ 데이터 중심에서 인간 중심으로
총 10장으로 구성된 이 책은 4가지 주제를 다루고 있다. 데이터의 본질에서 시작해 빅데이터의 본질과 특성 및 한계, 블록데이터의 본질과 블록데이터의 응용, 더 나아가 블록데이터 보안에 대한 논의가 이 책의 핵심 내용이다. 여기서 특별히 주목할 점은 저자는 복잡계 이론을 바탕으로 블록데이터에 대한 논의를 펼치고 있다는 사실이다. 물론 복잡계 이론 외에도 물리학, 신경과학, 사회학, 경제학 등 다양한 학문 분야에서 개발된 이론을 적용하고 있지만 복잡계 이론이 중심에 있다. 이것은 일견 뜬금없어 보이지만 나름 일리가 있다. 빅데이터에서 블록데이터로 이행하면서 가장 두드러지게 나타난 다른 점은 플랫폼에 방대한 데이터가 축적되어 하나의 블록을 형성할 뿐 아니라 여러 유형의 다양한 데이터 블록이 서로 연결되고 공유됨으로써 예전과 비교해 훨씬 많은 정보를 얻을 수 있게 되었기 때문이다. 이는 “전체는 부분의 합이 아니다”라는 복잡계 이론에서 말하는 창발성(emergent property)과 관련된 성질이다.
또한 저자는 빅데이터는 데이터 이기주의에 따른 데이터 독점, 이로 인한 부작용을 피하기 어렵지만 블록데이터를 통해 데이터 이타주의를 극복할 수 있다고 말한다. 데이터 중심에서 인간 중심으로의 전환이 가능하다고 말하고 있는 것이다. 이는 향후 빅데이터와 인공지능의 결합으로 예상되는 부작용을 감안할 때 매우 고무적인 사실이다. 유발 하라리가 우려하는 데이터주의를 극복할 수 있기 때문이다. 나아가 저자는 자본주의를 보완하는 협력적 소비사회, 즉 공유사회를 실현하는 데 블록데이터가 큰 역할을 하리라는 점을 강조한다. 사실 이 점은 저자가 특히 중국이라는 사회를 염두에 두고 있기에 더욱 그렇게 주장했으리라는 가능성을 배제하기 어렵다.
이 책에서 특히 신선하게 느껴졌던 것은 9장에서 블록데이터를 이용해 정부 권력을 적절한 수준으로 통제함으로써 진정한 민주주의를 실현하는 데 기여할 수 있다는 주장을 펼친 부분이다. 지금도 공산당이 지배하고 있는 폐쇄적 사회임에도 중국에서 이런 논의가 이루어졌다는 사실이 놀라울 따름이다. 저자는 ‘데이터 케이지(cage)’ 개념을 사용해 권력을 투명하게 행사하도록 통제할 수 있다는 점을 강조한다. 블록데이터를 이용하면 어떤 형태의 부정부패도 사전에 예방할 수 있을 뿐 아니라 권력 남용도 저지할 수 있다는 것이다. 블록데이터를 통해 앞으로 중국 사회가 지향하고자 하는 방향을 제시하려고 했다는 점에서 우리에게 시사하는 바가 적지 않다고 하겠다.
■ 블록데이터: 증국이 천명한 가치의 공유
아마존이나 구글에서 검색하면 금방 확인할 수 있듯 블록데이터라는 용어는 아직까지 거의 사용되고 있지 않다. 이것은 무엇을 의미하는가? 필자에게는 중국이 4차 산업혁명을 선도하는 위치를 점하겠다는 의지를 천명한 것으로 보인다. 저자도 분명히 밝히고 있듯 블록데이터는 빅데이터의 일부나 복제품이 아니라 빅데이터의 상위 버전에 해당한다. 빅데이터가 인류사회의 미래 예측에 도움을 준다면 블록데이터는 사회 구조와 경제적 기능, 조직 형태, 가치 체계를 재구성하도록 할 것이다. 더 나아가 데이터 중심이 아니라 인간이 중심인 세상을 만들어야 한다는 철학에 기반을 두고 있다. 이것이 이 책에서 블록데이터를 바라보는 기본 관점이다. 한 마디로 블록데이터는 사회 전반에 새로운 패러다임을 가져와 새로운 문명으로 전환하는 데 크게 기여할 것으로 예상된다. 필자 또한 저자의 이런 관점에 어느 정도 동의하는 바이다. 가장 큰 이유는 블록데이터에 내재된 중요한 특징, 즉 데이터에 대한 철저한 보안과 데이터에 대한 공유 정신에서 찾을 수 있다.
앞서 언급했듯 빅데이터는 지나치게 효율성에 초점을 맞추고 있어 공평성, 정의 등 민주주의의 기초가 되는 공동선을 유지하는 데 오히려 저해 요인으로 작용할 수 있다. 이로 말미암아 시장경제와 민주주의의 기초가 위태로울 수도 있다. 그런데 블록데이터는 이런 약점을 보완하고 대중이 물질적 가치와 정신적 가치를 공유하는 데 크게 기여할 수 있다는 것이다. 애덤 스미스가 말한 ‘보이지 않는 손’을 현실화시킬 수 있는 잠재력이 블록데이터에 내재해 있기 때문이다. 즉 사회의 모든 구성원이 공정하고 투명하게 사적 이익을 추구하는 가운데 이를 통해 사회적 이익, 즉 공익을 실현할 수 있다면 이것이 바로 ‘보이지 않는 손’의 은유가 시사하는 것이다. 만약 블록데이터 기술이 사회 전반에 보급된다면 진정한 의미에서 민주주의와 자유시장경제의 발전을 위한 기반이 될 수 있다. 이런 발견이 미국이 아니라 중국에서 이루어졌다는 사실이 그저 놀라울 따름이다.
현재 진행 중인 4차 산업혁명이 미래를 어떻게 변모시킬지 누구도 장담할 수 없는 실정이다. 그렇지만 한 가지 분명한 것은 기술에 관한 기술, 즉 메타기술로서 정보기술이 사회·경제·문화의 중심을 차지할 것이라는 사실이다. 그리고 그 결과 기술적 유토피아가 실현될지 아니면 디스토피아가 출현할지 전문가들 사이에서도 의견이 분분하다. 이런 불확실한 상황에서 과연 우리는 어떻게 행동해야 하는가? 생존 본능을 최대한 발휘해야 할 것이다. 이것은 정보를 단지 쉽게 활용할 수 있는 대상으로 여기는 관행을 극복하고 정보에 내재된 의미를 진지하게 고민하면서 행동해야 한다는 것을 말한다. 우리가 약간의 즐거움을 얻기 위해 자발적으로 빅데이터의 구성요소로 전락한다는 것은 인간으로서의 존엄성을 포기하는 것과 다름없다. 빅데이터 시대에 인간의 중심이 될지 여부는 정보에 대한 우리의 태도에 달려있다는 것을 유념해야 할 것이다.