인공지능이 할 수 있는 것, 할 수 없는 것ㅣ강국진ㅣAI 패러다임의 이해

이 책은 도서관 신간 코너에서 발견해서 읽게 되었는데 만약 신간 코너에 없었다면 읽지 못했을 책인 것 같아서 도서관에 고마운 마음이 든다. 도서관의 신간 코너는 상업적인 대형 서점의 그것과는 또 달라서, 내가 존재를 몰랐던 책(주로 비유명출판사, 비유명저자, 광고비가 높지 않을 것 같은)을 발견할 수 있어서 좋다는 것을 알게 됐다. 누군가의 셀렉(사서 또는 희망도서 신청자)을 통해 구입에 선정된 책이라는 점에서 어느 정도 퀄리티가 기대되는 새 책들이 모여 있다.

 

이 책은 너무나 훌륭한 내용임에도 크게 화제가 되고 있진 않은 것 같아서 아쉽다. 만약 인공지능에 관심 있는 사람이 내게 책을 추천해달라고 하면 <AI 2041>과 이 책을 꼭 읽어보라고 추천해주고 싶다. 

 

요즘 종교냐 과학이냐의 문제를 많이 생각하고 있었고, AI는 당연히 과학의 연장선상 혹은 과학에 속한 거라고만 생각했다. 그런데 AI가 과학 패러다임에 속하는 게 아니라 새로운 패러다임이라는 관점을 접해서 매우 흥미롭게 읽었다. 최근 읽은 책 중에 가장 재밌었다. 

 

책에서는 기술적 발전보다 사회적 관행의 변화가 더 느리기 때문에 실질적으로 사회적 합의가 자율주행 자동차의 대중화 시기를 결정할 가능성이 크다고 주장한다. (다른 신기술도 마찬가지)

 

이 책에서도 여러 번 인용되는 나심 탈레브.

 

과학과 인문의 통섭의 좋은 예와 같은 책을 본 것 같다. 저자의 다음 책을 기다려본다. 

 

투자를 하면서 인생을 배운다는 말이 정말인 게, 투자를 해보니 내 뜻대로 내 계획대로 흘러가는 건 거의 없었다. 인생도 마찬가지다. 내 뜻대로 모든 게 되리라고 기대하거나 모든 변수를 통제하려고 하지 말고, 계획대로만 살려고 하지 말고, 그때그때 업데이트를 하면서 확률적 태도를 갖고 나의 최선의 판단을 하며 살아가는 태도가 중요한 것 같다. 그런 관점에서 행복을 (언제 올지도 모를) 나중으로 미루기, 00가 이뤄지면 00해야지 등의 사고방식은 미련하다. 

 

AI를 막연히 두려워하기보다는 AI와 어떻게 잘 융합해서 살아갈까를 더 생각하고, 내가 어떤 환경 속에 있고 어떤 게임을 하고 있는지 끊임없이 질문하고 배우며 살기. 상대가 어떤 게임을 하는 사람인지 이해하기. 지금 하고 있는 게임은 언제든 바뀔 수 있다는 걸 받아들이기. 공부와 질문을 멈추지 않기.

 

확률을 더 공부해봐야겠다.

 

 

 

 

27)인공지능을 발전시키기 위해서, 우리는 자신의 내부를 비워야 한다. 그 내부는 이미 다른 것들로 채워져 있다. 종교적 관점에 심취한 나머지 과학을 받아들이지 못하는 사람은 과학적 관점에 기반해서 조직된 사회 속에서 살아가기 힘들다. 그들은 그 사회가 주는 혜택을 누릴 수 없을 것이며, 심지어 그것을 파괴하는 데 모든 시간을 쓸지도 모른다. 그들의 관점에 따르면 합리적인 것은 종교 패러다임이고, 과학 패러다임을 믿는 사람들이 비합리적이다. 이것은 서양에서 조르다노 브루노가 화형을 당하고, 갈릴레오가 종교재판을 받던 16~17세기에 실제 벌어지던 일이다. 과학혁명 이전 혹은 초기였던 당시에는 사실 과학 패러다임으로 할 수 있는 일이 별로 없기도 했다. 과학은 무수히 많은 질문에 답할 수 없었던 것이다.

 

42)문자라는 기술은 지능적인 인간의 생각을 기록하는 데 쓰였다기보다는, 새로운 지능을 만들어냄으로써 기존의 인간 지능을 확장했다.

 

59)우리는 이미 사이보그다. 인간 지능은 컴퓨터가 등장하기 전부터 이미 인공적인 지능이었다. 좀 더 정확히 말하면 타고난 지능과 인공적으로 만들어진 지능의 하이브리드 시스템이었다. 

 

77) 여러분이 '한국인을 100명쯤 무작위로 만나보니, 재산이 평균 잡아 이 정도 되더라'라고 추정하더라도 의미가 없다. 여러분은 어느 날 갑자기 굉장한 부자를 만날 수 있고, 그러면 평균에 대한 추정값도 크게 바뀌게 된다. 여러분이 주위 사람들을 둘러 보면서 '재산으로 보아 나는 평범하다'라고 말한다면, 그건 착각이다. 파레토 분포를 나타내는 분야, 즉 극단의 나라에는 평범한 사람이 없다. 평균이란 게 의미가 없으며, 따라서 '중산층'은 착각을 불러일으키는 단어다. 이런 경우 자기 주변 사람들만 보고서 내린 '세상이 이러하다'는 추정은 오류인 것이다.

 

78)나심 탈레브는 현대사회에서 극단의 나라는 점점 늘어가고 있으며, 이런 상황에서는 과거의 데이터가 소용없기에 미래를 예측할 수도 없다고 말한다. 그런데도 착각 속에서 기존 데이터로부터 도출한 예측에 따라 행동하면, 우리는 스스로를 위기로 몰아간다. 

 

특이값을 즉각 무시할 수도 있다. 아무튼 다수의 데이터는 특이값을 무시해도 괜찮다고 말하고 있기 때문이
다. 혹은 AI가 단 하나의 특이점 때문에 과감히 자신의 이론을 크게 바꿔서, 상황을 전과 전혀 다르게 해석하기 시작할 수도 있다. 어느 쪽이든 우리는 그 선택을 인간의 뇌가 하기를 바랄 것이다. 갑자기 나타난 사슴을 피하려고 유치원으로 차를 모는 일이 생기기를 바라지는 않기 때문이다. 예측할 수 없는 상황에서 어떤 선택을 할지 모르는 기계를 책임지는 자리에 놓고서는 편히 잠들 수 없다. 결국 돌발 상황, 즉 '블랙 스완'이 나타났을 때, 선택하고 책임져야 할 자리에는 여전히 인간이 앉아 있어야 한다. 설사 그 옆에 AI가 있더라도 말이다.

 

93)다만 그렇게 복제된 AI들의 집합은 서로 협동할 수 있는 인간 집단과 같지 않다. 그들은 사실상 협동하는 방법을 모른다. 인간은 개인 경험과 진화 과정에서 쌓인 유전정보가 상호작용한 결과물이다. 기호주의 인공지능이 인간 지능을 재현할 수 있다는 생각이 오만이듯 미래에는 인간이 끌어 모은 데이터가 인간 자체를 대체할 수 있으리라는 생각도 오만이다. 사실 AI 패러다임에서 무엇이 무엇을 대체하는가는 핵심이 아니다. 핵심은 서로 연결되어 서로를 이용하는 것이다. AI는 대단한 잠재력을지니고 있지만, 인간을 대체하는 것이 목적이 아니다. (여기에 내가 반박하고 싶다고 메모를 달아놨는데 책 읽은지 시간이 좀 지나서 정확히 기억은 안 나지만, 아마 AI가 이미 인간을 대체하기 시작했다는 거였을 거다.)

 

111)화이트헤드는 17세기 과학혁명의 핵심은 분류가 측정으로 바뀐 것이라고 말했다. 과학혁명 시대 이전에 과학은 그저 철학의 일부로서 존재했을 뿐이다. 그때까지는 문제를 해결하는 데 있어서 과학 패러다임이 큰 힘을 발휘할 수 없었다. 그러나 정확하게 측정된 데이터가 늘어나고 수학이 발전하면서, 과학 패러다임이 할 수 있는 일이 늘어나고 과학 이론도 발달했다. 이제 과학 패러다임은 그저 여러 패러다임 중 하나가 아니라, 유일하게 합리적인 문제 해결 방식으로 여겨진다. 사람들은 자신이 어떤 특정한 가정과 특징을 지닌 접근법을 따르고 있다는 생각도 하지 않으면서 과학 패러다임을 사용한다.

 

115)과학 패러다임 안에서, 사람들은 문제를 해결해주는 건 더 많은 데이터라고 믿는다. 그리고 그 데이터가 결국 우리를 간결하고 이해 가능한 법칙으로 이끌어주리라 믿는다. 이러한 태도는 우리를 오만하게 만들기 쉽다. 영원한 진리를 보고 싶어하고 실제로 발견할 수 있다고 믿는 사람들은, 언제나 그런 진리를 봤다는 환상에 빠지기 쉬운 법이다.
진정한 과학자라면 그런 환상에 빠지지 말아야 한다고 배우지만, 많은 사람은 과학자보다 더 과학 패러다임을 맹신한다. 그래서 모든 일의 배후에는 당연히 간결한 설명이 존재한다고 믿고, 어떤 법칙이나 이론을 받아들일 때 그것이 가능한 모든 상황을 설명해준다고 믿어버린다. 과학자들이 과학 이론을 검증하고 새로운 과학 이론을 발견하는 일을 보람으로 여기는 반면에, 어떤 사람들은 몇몇 이론을 외우고 그것을 맹신하는 게 과학이라고 여긴다. 심지어 정확한 데이터가 없는 경우에도 그렇게 한다. 그들은 과학 패러다임이 모든 일에 답을 줄 수 있다고 믿는다. 그러나 정작 과학적 지식의 첨단에 서 있는 과학자들은 일찍부터 과학 패러다임이 성과를 잘 내지 못하는 분야가 있다는 걸 느껴왔다. 뇌과학이나 경제·사회 분야가 그 예다. 간결한 법칙의 추구는 한 가지 결과로 이어진다. 그건 바로 외부로부터의 영향이 제거되어 있는 고립된 시스템, 즉 고립계를 연구하게 만드는 것이다. 이는 환원주의의 추구로 이어지곤 한다.  

 

128)베이지안 확률은 과학적 사고방식을 지닌 사람들에게 미움을 받았다. 그 결과물을 최적화 과정으로 얻는다는 베이지안 패러다임의 기본 구조 자체가 과학 패러다임과 다르기 때문이다. 추측의 출발점에 해당하는 사전확률 prior에 근거가 없다는 혹평을 받기도 했다. 그러나 현실 문제에서 확률을 계산하는 데 빈도주의 확률보다 더 뛰어났기에, 베이지안 확률은 계속 살아남았다. 이는 마치 인간이 제3의 지식에 도달한 AI를 이해할 수 없지만, 어쨌건 문제를 해결하므로 그냥 쓰는 것과 비슷하다.

 

132)서로 다른 패러다임들이 뒤섞일 때, 매우 비효율적인 일이 일어날 수 있다. 종교를 과학적으로 증명하거나, 과학을 종교적으로 이해하는 일이 어렵듯이 말이다. 마찬가지로 제3의 지식을 과학적으로 이해하는 일이 어렵듯, 뉴턴 같은 과학자도 AI가 대체할 수 없다. 그래서 미래에는 과학이 가장 주도적 패러다임은 아닐지 모르지만, 현대에도 종교가 존재하듯 미래에도 과학은 존재할 것이다. 과학 패러다임과 AI 패러다임은 서로 다르기 때문에, 인간 없이 AI만으로 과학 이론을 세우기는 쉽지 않다. 과학 이론은 인간이 이해하기 쉬워야 하기 때문에, AI가 과학 이론을 세우려면 먼저 인간 심리를 재현해야 하는데, 인간 없이 이런 재현을 하는 일은 원래 풀고자 하던 과학 이론 문제보다 더 어려울 수도 있다.

 

134)종교가 인간이 영감을 통해서 진리를 발견할 수 있다는 믿음에 기초한다면, 과학은 정확한 데이터를 통해서 인간이 이해 가능한 간결한 법칙에 도달할 수 있다는 믿음에 기초한다. AI 패러다임이 기초하고 있는 믿음은 기본적으로 많은 데이터와 변수의 최적화가 우리를 문제 해결책으로서의 제3의 지식으로 이끈다는 것이다. 역사에서 간결한 법칙의 존재를 믿었던 과학자가 보물을 발견했듯이, AI 연구자는 정말 인류 역사를 바꿀 만한 제3의 지식을 발견하게 될까? 이건 해보지 않고서는 모른다. 

 

141) AI 패러다임에서는 이 점이 보다 분명해진다. 그 환경이 가진 특성이 데이터의 통계적 특성을 결정한다. 만약 인간이 인위적으로 게임 형식을 도입하여 AI를 적용하려고 한다면, AI 패러다임에는 단지 데이터와 학습기계의 최적화뿐만 아니라 그 게임 혹은 전체 시스템의 설계도 포함되어야 한다. 자율주행 AI는 도로교통법을 포함하는 시스템 안에서만 작동한다. 도로교통법의 설계도 AI 패러다임의 일부인 것이다. 이런 의미에서 AI는 어떤 로봇의 머릿 속뿐만 아니라, 그 로봇이 작동하는 환경에도 퍼져 있다. AI는 우리가 풀고자 하는 문제 혹은 환경에 대한 답이다. 그 답은 AI가 전제하고 있는 환경이 보편적인 정도만큼만 보편적일 것이며, 때로 더 보편적인 상황은 차원의 저주 때문에 AI의 성능을 급격히 떨어뜨릴 수도 있다. 

 

151)2016년 서울에서 구글 딥마인드가 개발한 AI 프로그램 알파고가 프로 바둑 기사 이세돌과의 대결에서 이겼던 사건을 기억할 것이다. 이후 딥마인드는 2017년 알파제로 AlphaZero를, 2019년 뮤제로 Muzero를 발표했다. 주목할 만한 점은 이제 이런 AI들은 아타리 게임이나 바둑 같은 보드 게임을 인간이 남긴 데이터 없이 학습해서 인간을 능가할 수도 있다는 사실이다. 실제로 인간이 남긴 데이터 없이 학습한 알파제로는 인간 챔피언을 이긴 알파고를 이겼다. 인간이 만든 데이터에 근거하여 학습하건, 아니면 게임 규칙만을 이용해서 학습하건, 오늘날 우리는 어떤 임계점을 넘었다는 느낌을 받는다. AI는 이제 게임하는 법을 배울 수 있다.

 

157)과학 패러다임과 비교할 때, AI 패러다임이 갖는 가장 큰 차이점은 연결을 소중히 여기도록 만든다는 것이다. AI 패러다임은 환경의 핵심적 역할을 잊지 않게 한다. 그도 그럴 게 바로 연결들의 최적화가 우리를 해결책으로 이끈다는 것이 AI 패러다임이며, AI 패러다임의 목표인 제3의 지식은 환경의 특징을 압축해서 정리한 것 이상도 이하도 아니기 때문이다. 과학 패러다임, 나아가 문자 지식 패러다임은 지식을 생산한다. 그런데 문제 해결 능력을 갖게 해주는 이 지식은 독점 가능하며, 심지어 독점할수록 더 좋다고 느낄 수도 있다. 정보 독점이 권력의 원천이라는 건 이미 상식이다. 예를 들어 절대군주정•국가에서 단 한 명의 왕이 수많은 사람을 지배할 수 있는 핵심적 이유는, 그 왕만 독점하는 정보가 있다는 점이다. 그래서 예전에는 지도를 만들고 배포하는 식으로 정보를 퍼뜨리는 게 반역죄로 여겨지기도 했다. 국민이 무지할수록, 왕권은 강화된다.

 

162)지능적 혹은 합리적 판단을 하기 위해, 우리는 어떤 규칙, 어떤 경계 안에서 움직이고 있는지에 대해 끝없이 생각할 필요가 있다. 설사 지금은 적절한 행동 기준을 명확히 알더라도 그 기준이 언제나 절대적이지는 않으며 변할 수도 있기 때문이다. 또한 우리는 자신이 하고 있는 게임의 모든 규칙을 다 알 수 없다는 점을 기억할 필요도 있다. 자기가 하고 있는 게임에 대한 위화감을 느끼길 멈추고 모든 것을 그저 당연하다고 생각할 때, 우리는 위험에 처하게 된다. 우리가 모르는 사이에 게임 규칙이 바뀌어서, 당연히 지는 게임을 하고 있을 수도 있다. 앞에서 소개했던 바보 같은 칠면조(매일 주인이 오는 이유는 먹이를 주기 위해서라고 생각하다가 어느 날 잡아먹힘)가 될 수도 있는 것이다. 스스로가 처한 상황의 경계에 무관심할 때, 누군가의 눈에는 우리가 지능 따위 없는 바보로 보이게 된다. 혼자서 엉뚱한 게임을 하고 있기 때문이다.

 

결국 AI이건 인간이건, 지능이란 시스템 전체, 환경 전체에 퍼져 있는 관계로서 존재한다. 개인과 사회의 변화가 없으면, AI의 발전도 제한적이다. AI 패러다임에서는 이 점이 분명하게 보인다. 지능이란 어떤 박스 안에 들어 있고, 그 바깥의 것들은 그저 지능적인 박스에 의해 사용되는 도구일 뿐인 게 아니다. 각각의 부분들은 한쪽이 한쪽을 일방적으로 사용하는 것이 아니라, 그저 서로서로 연결되고 서로에게 이용당하는 관계다. 서로 융합되는 관계다. 망치를 쓰는 사람은 망치에게 이용당하고 있는 것이다. 인간의 지능적 행동은 뇌뿐만 아니라 심장이나 위장에 의해서도 만들어진다. 인간은 도구를 사용하면서, 그 도구와 융합한다. AI의 경우에는 이러한 도구와의 융합이 보다 자연스러워 보인다. 그냥 전체를 하나의 기계로, 하나의 프로그램으로 볼 수 있기 때문이다. 우리는 환경을 잊은 채 지능을 논해서는 안 된다. 이것은 AI의 위험성과도 연관된다. 사람들은 이런 상상을 한다. '암세포를 없애라'라는 인간의 명령을 받은 AI가 있다고 하자. 그 AI는 어떤 방법을 쓰던 암세포를 없애면 되므로, 인류를 멸종시켜서 암세포를 없애기로 한다. 이 상상은 AI가 위험할 수 있다는 것. 어떤 의미로 아주 능력 있는 멍청이처럼 될 수 있다는 것을 보여준다. 

 

167)마찬가지로 지금의 학교도 오늘날의 지식 구조를 반영한다. 종종 대학이 학과 간의 칸막이를 없애야 한다는 주장이 들리지만, 이를 전면적으로 실천하기는 어렵다. 교수들 자체가 전문화되어 있는데, 그것이 가능할까? 전문가에게서 전문성을 빼앗는 일이 쉬울 리 없다. 게다가 그 결과가 꼭 좋으리란 보장도 없다. 절이나 교회에서 과학을 가르치려 드는 식의 현상이 생기기 쉽다. 한 방에 가득 앉아서 교사나 교수가 가르쳐주는 똑같은 지식을 배우는 것, 초등학교부터 대학교까지 지식을 순서대로 익히는 것은, 지식의 보편성과 논리적 혹은 환원주의적 성격 때문이다. 이를 학교가 포기한다는 건 종교 단체가 신앙심을 포기하는 일만큼이나 어렵다. 하지만 모순은 누적되고 있다. 다른 측면에서 말하자면, 이는 현재의 학교가 학생들로 하여금 자신의 문제나 환경을 잊게 만든다는 의미이다. 학교는 지금 여기서 우리가 처한 문제가 무엇인지를 또렷이 인식하는 능력을 무의미해 보이게 만든다. 

 

171)그래서 교육이 시민의 권리이자 의무가 된 것이다. 그런데 AI 패러다임의 입장에서 이런 논리를 보면, 다른 의미가 발견된다. AI 패러다임은 우리에게 AI 지능을 준다. 따라서 미래 사회에 시민은 AI 지능을 갖출 권리와 의무를 갖게 될 것이다. 이는 시민이 교육기관에 가서 이를 공부해야 한다는 의미인 동시에, AI의 사회적 인프라를 확충해서 모든 시민에게 제공해야 한다는 의미이기도 하다. AI 패러다임을 배운다는 건 그런 방식으로 개인적·사회적 문제들에 접근하게 된다는 뜻일 뿐만 아니라, 그런 접근법의 결과물인 AI를 사용할 수 있게 된다는 의미이다. 지하철이 없다면, 지하철 사용법도 무의미하다. 만약 사회적으로 AI의 사용이 소수에게만 제공되고 다른 사람들은 그로부터 배제된다면, 심각한 문제들을 낳게 될 것이다. 예컨대 사회적 비용 상승과 인권 침해의 문제가 발생할 것이다. 만약 교육비를 엄청나게 올려서, 가난한 사람은 초등학교도 갈 수 없게 만든다면 어떻게 될까? 그 사람들이 나중에 살아갈 방법이 없게 되며, 그로 인해 사회문제가 일어나고 사회적 비용이 커질 것이다. 그래서 오늘날 교육이 권리이자 의무인 것이다. 이런 사회적 비용을 제외하고라도, 인권 문제가 남는다. 이는 어떤 사람이 돈 때문에 기본적인 교육도 못 받고 문맹으로 살아가게 만들기 때문이다. AI 교육에도 같은 측면이 있다. AI에 대한 독점은 누군가가 사이보그 2로 사는 동안, 다른 누군가는 계속 사이보그 1로 남아 있게 만들 것이다. 이는 누군가가 문명인으로 사는 동안, 다른 누군가는 수렵채집인으로 살도록 남겨지는 것과 같다. 당연히 양쪽의 생산성은 비교가 안 되며, 뒤에 남겨진 사람들은 비극을 겪기 쉽다. 결론적으로 말해서 AI시대의 교육은 AI 인프라를 공적으로 갖추고, 그 인프라를 사람들에게 무료로 공급하는 걸 포함해야 한다. 의무교육이 무료이듯이 말이다.
그렇다면 AI 시대의 교육이란 어떤 것일까? 코딩하는 법을 배우는 걸까? 그걸 배운다고 나쁠 건 없지만, AI 시대의 교육에서 핵심은 코딩 지식이 아니다.

174)한국과 영국은 도로교통법이 달라서 자동차가 달리는 방향이 반대인데, 통행 방향이 우측인 한국에서 자신은 영국에서처럼 좌측으로 달리겠다고 하면 곤란하다. 하지만 지식이 세상에 넘쳐나며 또 새로 생겨나고 있기 때문에, 그 모두를 하나의 체계로 만들어낼 시간은 주어지지 않는다. 설사 그게 가능하더라도, 체계를 익히는 도중에 그 체계를 깨뜨리는 새로운 변화가 올 수도 있다. 그러면 계속 새로운 체계를 익히느라 정신 없이 바쁠 것이다. 최신 트렌드를 다 따라가면서 정리하다 보면, 너무 많은 트렌드에 파묻혀 '이게 뭐 하는 짓인가'라고 한탄하게 된다. 결국 인공지능 시대에 우리가 취할 수밖에 없는 한 가지 태도가 있다. 그건 바로 '왜'라고 묻기, 이론 세우기를 자제하는 것이다. 세상을 단순하게 살고, 정해진 시간 동안 데이터를 얻었다면 최종적으로는 본인의 직관을 존중하는 것이다. '왜'를 묻고 이론을 세우려 하면, 자연스레 우리는 사물들을 원인과 결과로 이으려고 하게 된다. 그리고 그게 잘 안 되면 어떤 사실은 무시하고 믿지 않으려 하게 되며, 지속적으로 불안증에 시달리게 된다. 그리고 그렇게 이론을 세우는 동안, 세상은 또 변해버린다. 모든 걸 그럴 수는 없지만, 정리가 안 되는 건 안 되는 대로 내버려 둘 수밖에 없다. 그러지 않으면 지식과 이론의 무한성 앞에서 좌절하게 된다. 인공지능 시대에 우리는 세계를 하나의 정밀한 시계처럼 여겨서는 안 된다. 세계를 정해진 정밀한 규칙이 계속 지켜지는 시스템으로 보면 안 되는 것이다. 그보다 우리는 세계를 수많은 도구의 집합으로 봐야 한다. 이는 우리가 아무것도 공부할 필요가 없다거나, 게으르게 살아도 된다는 의미가 절대 아니다. 게다가 뒤에서 살펴보겠지만, 논리적인 태도는 경우에 따라 여전히 매우 중요할 것이다. 하지만 우리는 미리 머릿속에 어떤 거대한 계획과 체계를 그리고, 그에 필요한 걸 준비하는 식으로 살아서는 안 된다. 적어도 언제나 그런 식이면 안 된다.

177) 데이터가 넘쳐나 세상을 체계화.이론화할 시간이 없거나 애초에 너무 복잡해서 그것이 불가능해지기 시작하면, 논리적 태도의 합리성이나 지능이 줄어든다. 애초에 우리의 목적을 위해 필요했던 틀과 이론이 데이터를 받아들이길 거부한다. 일을 효율적으로 하기 위해 만들었던 조직이 오히려 효율성을 망가뜨리고, 서로가 서로의 발목을 잡게 만든다. 하나의 틀에 너무 익숙해진 사람들이 그 틀에서 나오기를 거부하고, 세상을 쫓아가지 못하게 된다. 새로운 틀은 너무 복잡해서 익히기가 점점 더 어려워진다. 그럴 때 더 합리적이고 지능적인 것이 바로 확률적 태도다. 이론과 조직을 만드는 일을 최소화하고, 본질을 따지는 대신 확률만을 따지면서, 일의 목적에 집중하는 것이다. 임시적 연결을 강조하면서, 끝없이 변해가는 망 속의 삶을 지향하는 것이다. 확률적 태도에서, 우리는 그 연결된 망의 구조를 통해 우리의 질문에 대한 답을 찾으려고 한다. 우리는 미리 점을 미래로 긋지 않는다.

188)결국 이런 문제의 해결책은 보편과 특수 사이에서 헤매는 것이 아니라, 집단적으로 더 지능적인 사회가 되는 것뿐이다. 정보가 더 빠르게 소통되고, 통계가 더 빠르게 수집되어 분석되고, 사회에서 당면한 문제에 맞게 빠르게 조직이 생기고 자율적으로 움직여야 한다. 그리고 그건 하나의 중앙집중적인 조직은 아닐 것이다. 그런데 생각해보면 이것이야말로 앞서 "인공지능 시대를 사는 방법"(173쪽)에서 말했던 확률적 태도다. 모두가 도구 또는 점으로 존재할 때, 그 점과 점이 빠르게 이어져서 목적을 이루는 시대 말이다. 물론 이것은 AI 패러다임이 사회에 투영되면 발생하게 될 결과이기도 하다.
사회가 점점 더 다원화되어만 가는 현재의 추세는 결국 언젠가 문명의 위기를 일으킬 것이다. 그걸 피하기 위해서는 세상이 이제까지와 다른 방식으로 운영될 필요가 있다. 여기에 꼭 필요한 것이 AI다. 사람이 그 모든 데이터를 처리할 수는 없기 때문이다. 다원화하는 동시에, 잊힌 계곡도 없어야 한다. 그것에 실패할 때, 즉 이 책에서 쓴 표현으로 사이보그1이 사이보그2로 진화하는 데 실패할 때, 우리는 집단적으로 더 지능적이게 되지 못할 것이다. 그리고 그건 문명의 재난일 것이다.

193)머리에 어떤 지식 시스템을 억지로 집어넣으려고 안간힘을 쓴다. 그렇게 어렵게 쌓은 지식이 세상에 나오면 별 쓸모도 없고 취직에도 도움이 안 된다. 이런 상황이 언제까지 지속될 수 있을까? AI는 이미 고생하고 있는 사람들에게 마지막 치명타가 될 위기를 가져오지 않을까? 이런 걱정들에도 불구하고, 나는 여전히 인본주의에 희망적이다. 인간의 가치는 새 시대에도 여전히 높을 거라고 믿는다. AI는 위협이 아니라 희망이고, 지금의 세상에 대한 치료제다. 인간은 종교의 시대에는 영적인 존재로, 과학의 시대에는 이성적인 존재로 여겨졌다. AI 시대에 인간은 제3의 지식을 지닌 존재로 여겨질 것이다. 미래는 인간이 대체되어 할 일이 없어지는 시대가 아니라, '디지털 낭만주의' 시대다. 그 시대는 점점 더 많은 사람이 해방된 존재로서 창의적인 일을 하면서 자기를 표현하는 시대다. 발달된 지능적 시스템이 필요한 사람과 서비스와 물자를 연결해주는 시대다. 교육 현실에서 드러나는 문제는 근본적으로 교육을 바꾼다고 해결되지 않는다. 교육을 둘러싸고 있는 환경인 사회가 바뀌고, 다시 그 변화된 사회를 교육이 반영해야 문제가 해결된다. 이를 가능하게 만드는 것이 AI 기술이다. 하지만 오해해선 안 된다. 미래에 출현할 '슈퍼지능'은 박스안의 AI도, 어떤 머리 좋은 천재도 아니다. 그것은 인간과 기계가 소통하면서 만들어내는 집단적 지능일 것이다. 그리고 그 슈퍼지능에서 인간은 여전히 핵심적 역할을 할 것이다. 하지만 또한 너무 자만하지는 말자. 인간의 힘이란 결국 상당 부분 도구의 힘이기 때문이다.

<부록> 빈도주의 vs. 베이지안

221)학자들은 확률을 다루는 데 있어서도 이러한 주관성을 제거하고 싶어 했다. 그리고 객관적이기 위해서는, 앞서 말한 두 가지 조건 중 하나가 필요하다. 즉 우리가 그 시스템을 완벽히 알고 있거나, 똑같은 상황에서 반복된 실험에 대한 방대한 양의 데이터가 존재해야 하는 것이다. 다시 말해 게임 결과에 대한 확률을 추정하고 싶으면, 우리는 그 게임의 법칙을 아주 정확히 알거나, 그 게임을 엄청나게 많이 해야 한다. 이러한 조건을 만족시키지 못했을 때, 그 게임의 확률에 대한 질문은 과학적이고 논리적이지 않으므로, 학자라면 그 질문은 성립하지 않는다고 말할지도 모른다. 이것이 빈도주의자의 태도다.
그런데 이런 대답은 멋지게 들릴지는 모르지만, 사람들이 처한 많은 상황을 외면하는 태도이기도 하다. 다시 말해 뇌나 AI가 통상 풀어야 하는 대부분의 현실 문제를 외면하는 것이다. 현실 속 많은 상황에서, 우리는 무지하고 불확실성은 높다. 우리는 자신이 하는 게임의 법칙을 정확히 알지 못한다. 또 우리는 그 게임을 수없이 반복해본 적이 없거나 반복할 수 없다.
세상을 살다 보면 종종 우리는 지금껏 축구를 하고 있다고 생각했는데, 알고 보니 그 게임은 미식축구였다는 식의 상황에 처한다. 경제 게임에서도 연애 같은 사회적 게임에서도, 우리는 게임의 법칙을 모두 알고 시작하지는 않는다.

224)결국 빈도주의자의 확률 개념이 현실에서 통하는 건 어떤 극한에 속하는 특별한 경우뿐이다. 대부분의 경우에 우리는 시스템을 완벽하게 알고 있지도, 충분히 큰 데이터를 가지고 있지도 못하다. 그러므로 확률에 대한 새로운 정의가 필요해진다. 그럼에도 불구하고 현대인은 대부분 빈도주의자처럼 생각하고는 한다. 현대사회는 세상에 존재하는 불확실성을 축소하는 경향이 있고, 우리도 그것에 익숙해져 있기 때문이다. 즉 우리는 지극히 인공적인 세계와 관점에 중독된 나머지, 어느새 세상을 지나치게 확실한 무엇으로 보고 그것이 전부라고 믿는 경향이 생긴 것이다. 제도 교육의 해악에서 벗어난 사람들은 곧잘 이를 책상물림 혹은 교과서밖에 모르는 얼간이의 생각이라고 말하고는 한다.  

베이즈 이론을 쓰고 나서도 그 사실을 비밀로 해야 하거나 그 이론으로부터 나온 공식을 썼다는 것 자체를 모르는 경우도 있었지만, 아무튼 사람들은 많은 상황에서 베이즈 이론을 써야만 유용한 결론을 낼 수 있었다. 베이즈 이론은 판사에게 직관에 따라 수색했다고 말하지 못하고 논리적인 이유를 꾸며내야 하지만, 어쨌든 범인은 잘 잡는 단속요원처럼 생존해왔던 것이다. 베이즈 이론에 관해 듣고 나서 직관에 따라 행동하는 인간을 상상해보면, '인간이 베이즈 이론의 규칙에 따라서 움직이는 건 아닐까'라는 생각이 들게 된다. 뇌에 대한 베이지안 접근이라고 불리는 이런 연구 방식은, 실제로 뇌 안에서 베이지안 확률 추정이 이뤄지고 있다고 주장한다. 그러니까 신경망의 활동은 베이지안 확률을 계산하고 표현한다는 것이다.