AGI의 시대
한상기(지음), 한빛미디어
"우리는 우리보다 더 똑똑한 사물이 생긴다는 것이 어떤 것인지 경험해본 적이 없습니다." - 제프리 힌턴
아직까지 사람들은 AI의 심각성을 제대로 인지하지 못하고 있다. 하긴 AI 기술의 발전 속도가 너무 빨리 따라가기도 벅차다. 얼마 전 세미나 발표 때, 나는 이것이 산업혁명 이후 진정한 새로운 혁명이 될 것이라고 말했다. 신석기농업혁명, 산업혁명, 그리고 이것. AI가 만들어낼 어떤 세계. 그리고 산업혁명 때 러다이트 운동이 일어났듯 AI가 새롭게 열어놓은 어떤 세계 속에서 우리 인류가 마주하게 될 상황은 한 번도 경험해보지 못한 것일 테니, 바짝 긴장해야 한다고 말이다. 하지만 얼마나 호소력이 있을 지는 나도 잘 모르겠다. 이런 점에서 이 책은 상당히 시의적절하다. 특히 '얼라인먼트' 문제를 중요한 화두로 제시한다는 점에서 AI와 거리 있는 이들이라도 반드시 읽어야 하는 책이다.
앨런 튜링과 함께 블레츨리 파크에서 암호 문제를 풀었던 어빙 존 굿Irving John Good은 1965년에 초인간 지능이 만들어진다면 소위 '지능 폭발'이 일어날 수 있다고 추측했다. 초지능 기계는 더 나은 기계를 설계할 수 있을 것이고 이는 폭발적으로 기계 지능이 급성장하는 것을 말한다. 또 다른 용어로 이를 '재귀적 자기 개선recursive self-improvement'이라고 한다. 엘리저 유드코프스키Eliezer Yudkowsky도 이에 대한 주장을 했으며, 레이 커즈와일Ray Kurzweil은 '수확 가속의 법칙The Law of Accelerating Returns'에 따라 기술 발전이 개발 속도를 더 높이는 피드백 루프를 만들 수 있고, AI가 AI를 위한 칩과 모델을 개선한다면 인간이 통제할 수 없는 속도로 발전할 수 있음을 예견했다. 이런 의미에서 어빙 존 굿은 최초의 초지능 기계는 인간이 통제해야 하는 마지막 발명품이 될 수 있다고 주장했다. (34쪽 ~ 35쪽)
AI는 단순한 도구가 아니다. 끊임없이 학습하여 발전하며 인간의 언어를 사용하는 어떤 존재다. 컴퓨팅 시스템에 있다고 하더라도 앞으로 피지컬 AI와 같이 기계 육체를 가지게 될 경우 상황은 전혀 달라질 것이다. 지금 AI에 감탄하고 있을 시기가 아니라는 점이다. 머지 않아 인간을 닮은, 그리고 인간 지성을 능가하는 AI가 나오게 될 것이다.
연구자들이 AGI를 구현할 수 있다고 생각하는 또 다른 배경은 소위 '계산적 마음 이론Computational Theory of Mind, CTM'이라는 인지과학이나 철학 이론의 바탕이다. 이는 마음 자체가 하나의 계산 시스템이라는 전망을 제시하는데 1960년대와 70년대에 인지과학에서 중심적인 역할을 했다. 이 주장의 시작은 1936년 엘런 튜링이 발표한 <계산 가능한 수와 결정성 문제에의 응용>이라는 논문에서 제시한 튜링 머신이다. (37쪽)
어쩌면 우리 마음도 일종의 계산 시스템일지도 모른다. 실은 그런 연구가 이루어지고 있다. 최근 읽은 어느 글에서는 우리 뇌에선 양자 중첩(Superposition), 양자얽힘(Entanglement), 양자 간섭(Quantum Interference)을 기반으로 하는 양자컴퓨팅이 이루어지고 있다는 로저 펜로즈(Roger Penrose)의 주장을 언급하기도 했다. 그런 의미에서 AGI(artificial general intelligence, 일반인공지능)도 가능하지 않을까. 하지만 아직 모든 이들의 동의를 받는 건 아니다.
왜 우리는 아직 AGI를 인정하는 것을 꺼려하는 것인가? (...) 우선 AGI를 판단하는 성능지표에 대한 널리 공감하는 표준이 없다. (...) 둘째로 기호주의적(심볼릭) AI 분야나 언어학 배경을 갖고 있는 연구자들은 아직 프론티어 모델이 지능을 획득하는 방식에 한계가 있으며 단순히 학습한 통계적 접근으로는 진정한 이해를 이끌어낼 수 없다는 주장. (...) 세 번째는 인간 예외주의로 볼 수 있는데 인간 정신에 특별한 무언가를 유지하려는 욕구로 AGI를 받아들이지 않는다. 이런 관점은 의식, 주체성, 주관적 지각, 감정을 느껴야 한다는 사람들로 AI는 아직 도구에 불과하다는 입장이다. 언어 모델은 단순한 통계적 앵무새라고 하거나 경의로운 의식이나 경험이 없는 좀비에 불과하다는 주장이다. (86쪽 ~ 87쪽)
하지만 AGI의 도래는 언젠간 이루어질 것이며, 우리의 예상보다 훨씬 빠를 것이다. 이런 점에서 우리는 AGI의 도래 전에 AGI를 인간의 통제 아래에 두거나 AGI가 인간의 예상 범위 밖으로 벗어나 인간을 적대시 하지 않도록 하는 기반을 마련하여야만 한다. 닉 보스트롬이 2003년에 발표한 <첨단 AI의 윤리적 문제>에서 언급한 '종이 클립 시나리오'를 황당하다고 여기지 말기를. 그는 이 에세이에서 초지능 AI에게 종이클립 생산을 최대화하라는 목표를 주자, 지구 전체를 클립 제조 시설로 바꾸어 버리고 이를 방해하는 모든 것을 제거한다고 이야기한다. 그리고 여기에 인간마저도 포함되어 제거될 수 있음을. 이런 점에서 얼라인먼트는 매우 중요한 주제다.
AI시스템의 얼라인먼트alignment는 인간의 가치에 일치하는 판단을 하도록 AI시스템을 어떻게 만들 것인가 하는 문제다. 가치 정합, 가치 일치 등 다양하게 번역하지만 이 책에서는 얼라인먼트라는 표현 그대로 사용한다. 간단하게 말하면 얼라인먼트는 인간이 원하는 일을 AI가 하도록 맏는 것이다. 얼라인먼트 문제라고 하는 것은 운영자의 의도에 맞게 작동하는 강력한 AI시스템을 만드는 문제로 치환된다. (158쪽)
이미 많은 이들이 이야기했지만, 이것이 쉬운 문제가 아니다.
(다리오 아모데이Dario Amodei는) 오히려 여러 인터뷰에서 이런 수준의 AI가 제어없이 발전하면 향후 2~3년 안에 과학, 공학, 생물학적으로 매우 위험한 일을 할 수 있기 때문에 적절한 보호 장치와 완화책이 필요함을 더 강조한다. (54쪽)
시드니 대학교의 레베카 존슨 등 유럽 대학의 저자들이 발표한 논문, <기계 속의 유령은 미국 엑센트를 갖는다>에서 분석한 결과 GPT-3의 학습 데이터와 세상의 언어 분포, 인터넷 접근에 대한 인구 통계학적 격차가 크게 나타난다. 이는 가치관을 표현하는 문장의 생성이 대부분 미국의 가치관을 반영하는 것이라는 의미다. (165쪽)
AI는 인간의 언어 데이터를 학습한다. 그래서 LLM(large language model)이다. 따라서 인간의 좋지 않은 습성도 그대로 따라한다. 간단하게 말해 AI는 인간을 기만할 수 있고 이로 인해 인간들은 잘못된 신념을 형성하거나 정치적으로 양극화될 수 있으며, 이런 와중에 AI에게 점점 권한을 이해하면서 결국 인간이 AI 시스템에 대한 통제력을 상실하게 되고 AI가 인간의 이익에 반하는 목표를 추구하게 된다면 어떻게 될까? (그냥 영화 <터미네이터>를 떠올리면...) 그래서 얼라인먼트가 중요하다.
앤스로픽의 AI는 기본적으로 '헌법 AI(constitutional AI)'라는 방식을 기반으로 얼라인먼트 문제에 접근한다. 소위 헌법이라고 부르는 높은 수준의 규범적 원칙을 준수하도록 범용 언어모델을 조정했고, 현재 자체 모델인 클로드는 엔스로픽 직원들이 큐레이팅한 헌법에 의존하고 있다. (215쪽)
딥마인드에서 얼라인먼트 문제를 가장 깊이 생각하는 사람은 창업자이자 수석과학자인 셰인 레그다. 그는 2023년 10월 드와르케시 파텔의 팟캐스에서 나와 이야기한다.
"강력한 AGI가 언젠가는 등장할 것이고, 시스템이 정말 유능하고 지능적이며 강력하다면 어떻게든 이를 억제하거나 제한하려는 시도는 이러한 시스템이 궁극적으로 매우, 매우 유능해질 것이기 때문에 성공적인 전략이 아닐 것이라고 생각합니다. 따라서 여러분이 해야 할 일은 시스템을 조정하는 것입니다. 처음부터 고도의 윤리적 가치에 부합하는 시스템으로 만들어야 합니다.
그러기 위해서는 세상의 모델이 필요합니다. 그리고 윤리적으로, 각각의 다른 행동과 가능성을 어떻게 바라보고 그로 인해 어떤 일이 일어날 수 있는지 생각해야 합니다. 무엇이 옳은 일인가? 그리고 모든 다양한 가능성과 나의 행동, 그로 인해 발생할 수 있는 일 그리고 그것이 나의 가치와 윤리에 어떻게 부합하는지에 대해 생각하다 보면 어떤 것이 최선의 선택인지 결론을 내릴 수 있습니다. AI 시스템도 본질적으로 같은 일을 해야 한다고 생각합니다." (227쪽 ~ 228쪽)
"따라서 세상에 대한 깊은 이해, 좋은 세계 모델, 사람에 대한 이해, 윤리에 대한 이해, 갈력하고 매우 신뢰할 수 있는 추론이 있는 시스템이 필요합니다." (227쪽)
이 책을 읽으면서 AGI의 도래를 매우 진지하게 바라보기 시작했다. 특히 AGI를 둘러싼 폭넓은 주장들과 이슈들을 다양하게 언급하면서 우리에게 당면한 과제들을 제시하는, 매우 시의적절한 책이다. 몇 년간 AI에 대해선 아무 생각도 하지 않는 정부를 보면서 답답했는데, 이제 좀 움직이길 기대해보자. AI는 일개 기업이 나서서 뭔가 하기에는 큰 투자 뿐만 정치, 사회, 문화적으로 폭넓은 의견 교환이 필요하며 정책적 뒷받침이 필요한 분야다. 조만간 이 책의 저자이신 한상기 박사님을 만나 조언을 구해야겠다. 아무래도 앞으로 계속 이 분야를 연구해야 할 것같은 생각이 진지하게 드니 말이다.
AI에 관심이 있든 없든 이 책은 진지하게 읽어야 할 필독서에 가깝다. AGI의 시대가 온 다음 우왕좌왕하지 않으려면 말이다.