파이널 인벤션 Final Invention
제임스 배럿(지음), 정지훈(옮김), 동아시아
번역 출간된 지도 꽤 지난 책이며, 일반론적인 이야기를 담고 있지만, 인공지능(Artificial Intelligence)에 대하여 우리가 어떻게 대응해 왔는지를 한 눈에 알 수 있게 해준다. 이 점에서 읽어볼 만하다. 다만 인공지능에 대한 부정적인 의견이 대부분을 차지하고 있다는 점에서 부분적인 이해만 될 것이다. 또한 기술에 대한 깊은 이해를 도울 수 없다는 점에서도 한계가 분명한 책이기도 하다.
1. 자기인식, 자가 개선 시스템
인공신경망에 기반한 AI의 성능을 체감하고 있는 2024년의 우리로서는 이 책의 내용은 다소 식상하지만, 책의 서두부터 끝날 때까지 경고하는 메시지는 그 때나 지금이나 동일하다.
"자기인식, 자가 개선 시스템은 인류의 자원을 모두 써버릴 것이다." (131쪽)
오모훈드로는 자기인식과 자기 개선을 하는 시스템은 인간들의 생물학적 욕구과 비슷한 네 가지 원초적인 욕구인 효율efficiency, 자기보존 self-perservation, 자원획득 resource acquisition, 그리고 창의성 creativity을 발전시킬 것이라 예측했다. (135쪽)
자기인식, 자가 개선 시스템은 목표에 도움이 되는 것을 찾으면서 동시에 자신이 받는 피해를 최소화하는 방향으로 스스로를 개선할 것이다. (163쪽)
실제 딥러닝 기반의 인공지능은 목표를 달성하기 위해 수단과 방법을 가리지 않는다는 연구 결과가 발표되기도 했다. 심지어 어느 테스트에서는 일을 대신해줄 수 있는 사람을 찾아서 해당 문제를 해결하고자 시도하기도 했으며, 인공지능 자신이 사라진다는 것에 대해 거부하기 위한 여러 활동을 수행하기도 했다. 우리는 현재 나오는 인공지능 서비스의 인풋과 아웃풋만 알 수 있을 뿐이다.
2. 블랙박스 시스템
인공지능의 발전을 이제 막을 수 없다. 이미 시작된 흐름이다. 그러니 우리는 신뢰할 수 있고 믿을 수 있는 인공지능을 만들고 발전시켜야 한다. 그러나 그것이 얼마만큼 가능할까?
유전자 알고리즘과 마찬가지로 인공신경망은 '블랙박스' 시스템이다. 즉 네트워크 가중치와 신경세포의 활성화라는 입력을 완전히 파악할 수 있다. 그러니 무엇이 출력인지 안다. 그런데 그 사이에 어떤 일이 일어나는가? 누구도 제대로 이해하지 못한다. (180쪽)
바사르에 따르면 AGI에 가장 빨리 접근하고 잇는 방식은 역공학 reverse engineering 방식으로 가장 대중적이지만 비용이 많이 드는 방식이다. 이 방식은 인간의 뇌를 무자비한brute force 방식으로 역공학한다. 여기서 '무자비한'이라는 표현은 순수한 하드웨어의 힘, 즉 빠른 CPU들의 집합, 페타바이트petabyte(10에 15승 바이드)의 메모리와 똑똑한 프로그래밍 기법을 이용해서 문제를 해결하는 것을 말한다. 바사르는 "극단적으로 무식한 방식은 생물학에서 나옵니다. 만약 사람들이 기계를 이용해서 생물학적 시스템을 계속 분석하고, 대사과정을 이해하며, 생물학 내부의 복잡한 관계를 해결하다 보면 결국 신경세포들이 정보를 어떻게 처리하는지에 대한 많은 정보를 축적할 수 있습니다. 일단 신경 세포들의 정보처리 방법에 대한 충분한 정보를 알게 되면, 정보로 AGI를 구현할 수도 있습니다."라고 말한다. 생각 Thinking은 신경세포와 시냅스, 수상돌기 등과 같은 뇌의 일부분들이 수행하는 생화학적 프로세스이다. (77쪽)
인공지능의 '환각'에 대해서 이야기를 하지만, 제프리 힌턴 교수는 현재 개발되는 인공지능 서비스는 우리 뇌의 신경망을 기반으로 설계, 구현되었으니, 사람들이 잘 기억나지 않는 부분을 이야기할 때, 전체 이야기를 맞추기 위해 부분적으로 각색하는 것(이야기를 꾸며내는 것)과 무엇이 다른가라고 되묻는다. 인공지능의 개발은 논리적 접근와 생물학적 접근이 있는데, 후자의 접근이 최근 비약적 발전을 이루었으며 놀라운 성과를 보이고 있다. 그런데 문제는 우리가 인간에 대해서 잘 알지 못하듯, 동일한 관점에서 인공지능이 어떤 논리로 결과를 만들어내는지 파악하지 못하고 있다는 것이다. 그리고 인공지능에 전권을 다 내릴 경우, (인간이 그렇게 하듯) 불합리한 결정이나 어리석은 판단을 내릴 가능성은 충분하다.
3. 인공지능에 대한 경고
이 책의 결론은 아래 문장이 될 것이다. 나는 인공지능에 대한 태평스러운 낙관론을 경계한다. 적어도 그것은 우리가 제어할 수 있는 범위 내에 있어야 한다. 하지만 북한 같은 곳에서 인공지능을 나쁜 목적으로 사용한다면? 그럴 가능성이 전혀 없을까?
특이점은 위협이며, 멸종으로 이끌 수 있다. (193쪽)
"우리의 마음을 이해하는 마음을 소유하지 못할 것" - 데니얼 대닛 Daniel Dennet (257쪽)
우리와 달리 기계 기반의 슈퍼 지능의 진화는 공감에 의해 보상을 받고, 이를 다음 세대로 넘겨주는 생태계의 룰을 따르지 않는다. (41쪽)
슈퍼지능에 대해 의미 있는 토론을 하기 위한 전제 조건은 슈퍼 지능이 인간의 능력에 추가되는 단순한 하나의 기술이나 도구가 아님을 아는 것이다. 슈퍼 지능은 근본적으로 다르다. 슈퍼지능을 의인화한다는 것이 가장 흔한 오해라는 것을 꼭 명심해야 한다. - 닉 보스트롬Nick Borstrom (42쪽)
굿의 지능폭발과 그의 인류의 미래에 대한 비관론은 매우 중요하다. 왜냐하면 내가 이야기한 바와 같이 지능폭발을 가능한 일이고, 통제 불능의 인공지능이 탄생할 수 있는 기회이기 때문이다. (269쪽)
생각하는 것 이상으로 기술의 발전 속도가 빠르다. 머지않아 새로운 형태의 러다이트 운동이 시작될 지도 모른다. 사람들은 AI 관련 기술이나 도구를 배우면 자신의 삶이 좋아질 것이라 믿지만, 나는 그 반대에 가까울 것이라 생각한다. 이런 점에서 우리는 전혀 다른 관점에서, 보다 본질적인 측면에서 접근해야 된다고 믿는다.
*** 아래는 책을 읽으면서 메모해놓은 것을 옮긴다.
가속화 보상의 법칙 Law of Accerlerating Ruturns
- 레이 커즈와일이 이야기한 것으로, 기술 발전이 기하급수적으로 빨라지며, 여기에 따른 보상도 빨라진다는 것이다.
빌 조이 Bill Joy, <<어째서 미래는 우리를 필요로 하지 않는가? Why the Future Doesn't Need Us?>>
- 인공지능, 나노기술, 바이오기술 등에 대해 개발속도를 늦추거나 심지어 중단해야 된다고 이야기함.
찰스 페로의 <<정상 사고 Normal Accidents>>도 언급되고 있음. 빌 조이의 책은 번역되지 않았으나, 찰스 페로의 책은 <<무엇이 재앙을 만드는가>>로 번역 출간됨.
휴리스틱 heuristic : 경험을 통해 얻어지는 지식 또는 직관을 의미하는 용어로 '경험'으로 해석할 수도 있지만, 그 나름의 독특한 의미로 가지고 있기에 원어를 그대로 사용했다.
- UX 분야에서 자주 사용되는 단어로, 실제 시제품을 제작하여 테스트할 때, 얻게 되는 여러 효과를 언급할 때 휴리스틱이라는 단어를 언급한다. 최근 디자인 방법론에서는 휴리스틱한 접근을 자주 사용한다.
증강된 인류 Augmented Human
- AI의 도움을 받은 인류라고 할까. 이렇게 되면 어떻게 될까? 아마 AI의 순기능은 여기에 있을 텐데, 이 때는 증강의 범위나 강도가 고려되어야 할 것이다.
지능폭발 intelligence explosion
- AI의 지능이 폭발하는 지점에 이르게 되었을 때, 인류는 과연 AI를 제어할 수 있을까. 이 책에 등장하는 대부분의 이론가들은 부정적이다.
뇌는 대규모로 일을 컴퓨터처럼 직렬serial처리하지 않고 병렬parallel 처리한다. 직렬프로세싱은 순차적 처리, 한 번에 하나의 계산을 하는 것을 의미하고, 병렬 프로세싱은 수많은 데이터를 동시에 가끔은 수십만 개, 심지어 백만개를 동시에 계산하는 것을 의미한다. (330쪽)
위 문장은 상식 차원에서 메모해놓은 것이며, 아래는 약자들이다.
ANI, Artificial Narrow Intelligence 약인공지능
AGI, Artificial General Intelligence 강인공지능
ASI, Artificial Super Intelligence 초인공지능
최근 OpenAI가 발표한 o3를 두고 일부 평자들은 AGI 단계에 들어간 것이 아니냐는 평가를 내리기도 했다. ASI 단계는 아직 멀 것같다.