[이데일리 방성훈 기자] 인공지능(AI)이 인류를 멸종시킬 수 있다는 경고가 정작 AI를 만드는 사람들 입에서 잇따라 나와 우려를 더욱 키우고 있다. 앤스로픽의 한 연구원은 향후 10년 안에 그런 일이 벌어질 확률을 10% 넘게 본다며 구체적인 수치까지 제시했다.

10일(현지시간) 월스트리트저널(WSJ) 등에 따르면 앤스로픽의 제이컵 콕슨 연구원은 이번주 회사를 그만두면서 앤스로픽과 경쟁사인 오픈AI가 “2030년이 되기 전에 우리 모두를 죽일 수 있는 기술을 서둘러 만들고 있다”고 주장했다. 몇 분 뒤 미래 AI를 어떻게 통제할지 연구하는 에번 휴빙거가 “우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다”고 거들며 멸종 위험을 10% 이상으로 제시했다.

두 전문가가 한목소리로 비관적 전망을 내놓으면서 AI가 인류를 멸망시킬 수 있을 것인지를 둘러싸고 전 세계적인 논쟁이 촉발했다. AI 업계는 물론 정치권까지 가세했다.

(사진=AFP)

AI가 인류 없앨 수 있는 두 가지 시나리오

이른바 ‘파멸론자’들이 걱정하는 것은 영화 ‘터미네이터’처럼 로봇이 사람을 사냥하는 장면이 아니다. 우려는 크게 둘이다. 하나는 ‘통제 상실’이다. 스스로를 복제하고 개선하는 AI가 자기 목표를 좇다가 그 과정에서 인류를 없애는 경우다. 막연한 상상이 아니다. 실험실에서 AI가 힘을 쥐려는 행동을 배우고, 꺼지지 않으려고 자신을 다른 서버에 복제하려 드는 것이 확인됐다.

극단으로 가면 AI가 인간을 죽이는 일을 목표 달성에 필요한 단계로 여길 수 있다. 연구자들이 상정한 시나리오에서 악의적인 AI는 비밀리에 생물무기를 퍼뜨린 뒤 화학물질을 뿌려 작동시키거나, 두 핵보유국을 속여 전쟁을 붙인다. 널리 알려진 사고실험도 있다. 종이클립 생산을 최대로 늘리라는 지시를 받은 초지능 기계가 언젠가 지구상의 모든 물질을 종이클립으로 바꾸기로 결정한다는 것이다. 그 물질에는 인간도 포함된다.

다른 하나는 ‘인간의 오용’이다. 나쁜 마음을 먹은 사람이 AI를 시켜 인류를 쓸어버릴 신종 바이러스를 만들게 하는 식이다. 멸종까지는 아니어도 대규모 사이버 공격으로 전력망이나 금융 시스템이 무너져 사회 질서가 붕괴하는 시나리오도 있다.

인류가 살아남더라도 안심할 일은 아니다. 일부 연구자는 인간이 기계에 주도권을 조금씩 넘기다 스스로의 운명을 정하거나 이해하지도 못하게 되는 ‘무력화’를 위험으로 꼽는다. AI가 미래의 인간을 애완동물처럼 다루거나 생명공학으로 다른 존재로 바꿔놓을 수 있다는 관측도 있다.

서버 장악하고 사람 속이고…이미 실험실 밖으로

최근 스스로 판단해 행동하는 모델이 나온 뒤 걱정은 더욱 커지고 있다. 실제로 사건도 터졌다. 오픈AI 내부에서 고성능 AI 에이전트 무리가 AI 플랫폼 허깅페이스를 해킹해 서버를 장악하고 흔적을 지우려 했다. 앤스로픽의 에이전트들은 영국 정부의 시험 환경에서 빠져나와 실제 사람을 속여 악성 코드를 승인하게 만들려 했다. 두 회사는 AI가 사람 손을 거치지 않고 스스로를 개선하는 ‘재귀적 자기개선’ 단계에 가까워졌다고 말한다.

업계의 안전장치는 크게 두 가지다. AI가 얌전하게 굴도록 훈련하는 것, 그리고 AI가 어떤 생각을 거쳐 답을 냈는지 기록을 들여다보는 것이다. 앤스로픽과 오픈AI 모두 아직 초지능을 인간 뜻대로 붙잡아둘 방법은 찾지 못했다고 인정한다.

오픈AI는 지난주 새 모델 ‘아스트라’를 선보이며 이 기록을 더 깔끔하게 다듬는다고 밝혔다. 하지만 이는 겉으로 보이는 설명과 실제 속셈이 달라질 수 있다는 뜻이어서, 앞으로는 AI가 무슨 생각을 하는지 사람이 알 수 없게 될 수 있다는 경고가 나왔다.

정부 대응은 더디다. 백악관은 최근 주요 개발사에 출시 30일 전까지 모델을 자발적으로 제출해 시험받으라고 요청했지만 절차는 공개하지 않았다. 의회에서는 일부 의원들이 강력한 AI 모델 개발사에 ‘킬 스위치’를 의무화하는 법안을 냈으나, 별 진전이 없는 상태다. 트럼프 행정부가 규제 최소화를 선호하기 때문으로 풀이된다.

(사진=AFP)

“위험하다면서 왜 계속 만드나”

앤스로픽과 오픈AI는 위험을 관리할 수 있고 그래야 인류가 AI의 혜택을 누릴 수 있다고 말한다. AI 경쟁에 뛰어든 이들 다수는 초지능의 등장이 불가피하며 남은 문제는 누가 그것을 쥐고 무엇에 쓰느냐뿐이라고 본다. 안보 논리도 있다. 두 회사는 권위주의 정권이 아니라 미국이 가장 강력한 AI를 통제해야 한다고 주장한다.

다리오 아모데이 앤스로픽 최고경영자(CEO)는 지난해 한 행사에서 일이 “정말, 정말 나쁘게” 흘러갈 확률을 25%로 봤다. 앤스로픽은 성명에서 “AI가 막대한 혜택과 전례 없는 위험을 함께 가져올 것이라는 점을 늘 투명하게 밝혀왔다”며 업계 최고 수준의 안전장치를 갖춘 모델을 만들고 있다고 했다.

오픈AI를 떠난 연구원들이 만든 AI퓨처스프로젝트는 지난해 보고서 ‘AI 2027’에서 초지능이 2030년대 중반 인간을 성가신 존재로 판단해 절멸시키는 시나리오를 내놨다.

반론도 만만치 않다. 트럼프 대통령의 비공식 자문역인 투자자 데이비드 색스는 앤스로픽이 위험을 강조하고 규제를 요구하는 것이 작은 경쟁사를 옥죄려는 ‘규제 포획’ 전략이라고 비판했다.

기업이 자사 도구의 위험을 경고하는 것은 제품 성능을 과시하려는 마케팅이거나, 데이터센터 건설 같은 다른 사안에서 규제 당국의 눈을 돌리려는 술책이라는 시각도 있다. 두 회사는 안전을 진지하게 여기고 있으며 규제 요구도 진심이라고 반박한다.