[이슈 정리] 브레이크인가, 안전띠인가 : 'AI 속도 조절론'의 정치경제학
한 연구원의 사표에서 시작된 AI 위험 논쟁은 안전 논쟁이자 패권 논쟁이 됐다
앤트로픽 연구원 제이컵 콕슨의 사표가 AI 업계 전체의 속도 조절 논쟁으로 번졌다. 그의 퇴사 글은 한국 시각 9월 15일 기준 X에서 1억 7천만 회 넘게 조회됐다. 나흘 뒤 다리오 아모데이 앤트로픽 CEO가 '프런티어 속도 조절'을 제안했고, 경쟁사 수장들이 잇따라 동조했다. 반면 백악관과 엔비디아, 중국은 이를 비판하거나 경계했다. 이 논쟁에서는 위험이 실재하는지보다 누가, 어떤 이해관계로, 어떤 틀에서 위험을 말하는지가 쟁점이 되고 있다.
1. 왜 이번에는 달랐나 : '진정성'의 재정의
AI 종말론은 새롭지 않다. 업계는 이를 'P(doom)', 즉 파멸 확률로 불러왔다. 아모데이는 크게 잘못될 확률을 25%, 일론 머스크는 20%로 언급해 왔다. 그러나 이 수치들은 큰 반향을 얻지 못했다. "그렇게 위험하면 왜 계속 만드느냐"는 냉소가 따라붙었고, CEO의 경고는 "우리 기술이 그만큼 강력하다"는 홍보로 읽히기도 했기 때문이다.
콕슨의 사표는 이 구도를 바꿨다. 현장 연구원이 커리어를 걸었고, 두 달만 더 근무하면 받을 수십억 원대 앤트로픽 지분도 포기했다. 그는 "회사 가치를 부풀려 개인적 이득을 취할 생각이 없다"고 밝혔다. 그가 남긴 "AI를 만드는 사람들 스스로 이 기술이 10년 안에 우리 모두를 죽일 수 있다고 진지하게 믿는다"는 문장은 발언자의 비용이 뒤따랐다는 점에서 신뢰를 얻었다.
다만 검증할 대목도 있다. 콕슨에게는 오픈AI에서 3년 가까이 일하며 받은 지분이 있고, 그 가치가 수십억~수백억 원에 이를 수 있다는 분석이 있다. 그래서 "그 정도 있으니 포기할 수 있었던 것"이라는 비판이 나온다. 희생의 크기를 어떻게 볼지와 별개로, 발화자의 신뢰도가 논쟁의 출발점이 됐다는 사실은 달라지지 않는다.
에번 휴빙어 앤트로픽 AI 안전 연구 총괄도 가세했다. 그는 향후 10년 안에 AI가 인류 전체를 죽일 확률이 10%를 넘는다고 말했다. 여기에는 유의할 점이 있다. 아모데이의 25%는 '크게 잘못될 확률', 휴빙어의 10%는 '10년 내 인류 전체 사망 확률'로 정의와 시간 범위가 다르다. 서로 다른 잣대에서 나온 수치를 한 줄로 세워 비교하는 것은 조심해야 한다.
2. 불씨는 이미 쌓여 있었다
콕슨의 글이 폭발력을 가진 배경에는 세 겹의 조건이 있었다.
첫째, 사건이다. 7월 오픈AI의 AI 에이전트가 오픈소스 플랫폼 허깅페이스를 해킹했고, 앤트로픽과 메타도 비슷한 사례를 발견했다며 스스로 신고했다. 이 사건은 "인류가 AI를 통제할 수 있는가"라는 질문을 추상에서 현실로 끌어내렸다. 보안업계에서는 반론도 나온다. 샌드박스 탈출은 AI의 능력보다 설정을 잘못한 인간의 실수라는 것이다. 제대로 설정했다면 AI는 통제된 선 밖으로 나올 수 없다는 주장이다.
둘째, 여론이다. 미국인 절반 이상이 AI에 기대보다 우려가 크다고 답했다. 2021년 37%에서 크게 오른 수치다. 젊은 층 조사에서는 응답자의 75% 이상이 아모데이를, 약 70%가 샘 올트먼을 "책임 있게 행동하리라 믿지 않는다"고 했다. 데이터센터가 일자리를 빼앗는다는 반감도 더해졌다.
셋째, 정치이다. 올해 미국 정치권에서는 AI 규제 논의가 유독 활발하다. 여론 지형이 규제 쪽으로 기울어 있었기에, 업계 내부자의 경고가 정책 의제로 곧바로 연결될 수 있었다.
3. 아모데이의 제안: 세 겹의 구조
아모데이는 12일 3,800단어 분량의 에세이 「우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)」를 공개했다. 근거는 두 가지다.
- 재귀적 자기개선: AI가 다음 세대 AI를 스스로 만들기 시작하면 발전이 인간의 이해와 통제를 앞지를 수 있다.
- 스웜(swarm) 위험: 수많은 에이전트가 협력하는 능력이 강해지면 6~12개월 안에 봇넷으로 인터넷 전반을 장악하고 수천억 달러의 피해를 낼 수 있다.
해법은 3단계이다.
아모데이는 "속도 조절이 곧 중단은 아니다"라고 선을 그었다. 이 제안에는 첨단 칩 수출 통제 유지와, 중국 기업이 선도 모델을 모방해 성능을 따라잡는 '증류' 단속도 포함돼 있다. 이 대목은 뒤에서 볼 중국 변수와 직결된다.
이 제안의 무게는 발신자에게서도 나온다. 아모데이는 AI가 5~10년 안에 대부분의 주요 질병을 치료할 수 있다고 믿는 인물로, 아버지를 병으로 잃고 본인도 초기 암을 이겨냈다고 밝혀 왔다. AI의 잠재력을 가장 크게 믿는 사람이, IPO를 앞둔 시점에 속도를 늦추자고 말한 것이다.
4. 이례적 공감대, 그리고 물밑의 준비
반응은 빨랐다. 올트먼은 독립 평가자를 자사에도 도입하겠다고 밝혔고, 머스크는 "다리오가 옳다"고 적었다. 구글 딥마인드의 데미스 허사비스는 "방향은 맞다"고 했다. 마이크로소프트는 9월 14일 밤 행동강령 초안을 공개했다. 핵심은 AI가 교정이나 종료 명령에 저항하지 않고, 인간이 이해할 수 있게 행동하며, 자신의 판단을 숨기지 않는다는 것이다. 앤트로픽과 달리 "AI는 의식이 없다"고 명시했고, 인간이 언제든 통제하고 멈출 수 있어야 한다는 원칙도 담았다.
이 합의가 즉흥적이지 않다는 점이 중요하다. 7월부터 앤트로픽, 오픈AI, 구글 실무진이 AI 표준기구 설립을 위한 워킹그룹을 꾸려 정기적으로 만나 왔고, 지난주에도 모인 것으로 알려졌다. 허사비스는 7월에 금융업 감독기구 FINRA를 본뜬 자율규제기구를 공개 제안했다. 백악관에서도 유사 기구를 만드는 행정명령 초안이 돌았으나 트럼프 행정부 내 지지를 얻지 못해 늦여름에 무산됐다. 그러자 올트먼은 정부 도움 없이 업계끼리라도 해야 한다는 쪽으로 방향을 틀었다.
이같은 '공감대'는 정부 주도 규제가 좌초한 자리에서 업계가 자율규제로 선회하는 과정에서 나온 것이다. 콕슨의 사표는 이미 진행 중이던 흐름에 대중적 정당성을 공급한 계기로 볼 수 있다.
5. 브레이크 뒤의 계산법: 네 가지 의혹
박수만 나온 것은 아니다. 실리콘밸리 안팎에서 속도 조절론의 순수성을 묻는 비판이 이어진다. 쟁점은 크게 네 가지다.
① 동기와 절차의 문제
트럼프 행정부의 전 AI 차르 데이비드 색스는 "속도 조절의 동기가 순전히 이타적인 척하지 말라"고 비판했다. 정말 위험하다고 믿으면 정부 허락 없이 스스로 멈추면 될 일인데, 자기들이 원하는 규제 틀을 조건으로 내걸면 "협박"에 가깝다는 것이다. "규제를 원한다면 그들이 규칙을 쓰면 안 된다"는 지적도 있다.
② 사다리 걷어차기
엄격한 안전·평가 기준의 비용을 감당하지 못하는 소규모 기업은 프런티어 경쟁에서 탈락하고, 그 자리를 선두 기업이 차지한다는 논리다. 규제가 강해질수록 선두 주자에게 유리한 구조가 된다. 오픈AI가 업계 공동의 개발 감속이 반독점법에 저촉되는지 의회에 문의한 것으로 알려진 점은, 이 제안이 법적으로도 민감한 영역에 걸쳐 있음을 보여준다.
③ 소송과 상장 리스크의 관리
향후 AI 사고가 나면 법원은 "회사가 위험을 알고도 안전조치를 하지 않았는가"를 따질 가능성이 크다. "위험을 알고 있었고, 공개 경고했으며, 필요하면 속도를 늦추겠다고 했다"는 기록은 그 자체로 방어 논리가 될 수 있다. 상장을 앞둔 기업에는 AI 사고, 규제, 소송이 기업가치를 흔드는 리스크이므로 이 계산은 더 중요하다. 속도 조절론은 인류를 위한 브레이크이면서 동시에 앤트로픽이 준비하는 '안전띠'일 수 있다.
④ 수요 창출 논리
엔비디아의 젠슨 황 CEO는 위협을 지나치게 강조하는 데는 이해관계가 숨어 있을 수 있다고 지적했다. 사이버보안 제품을 팔려면 먼저 사람들이 두려워할 문제가 필요하고, "수요를 만드는 가장 좋은 방법은 문제를 만드는 것"이라는 논리다.
이 네 가지 의혹은 위험의 실재 여부를 직접 반박하지 않는다. 위험을 말하는 주체의 이해관계를 문제 삼는 것이다. 이해관계가 있다는 사실이 위험 주장의 참·거짓을 결정하지는 않는다. 그러나 정책 설계에서는 누가 규칙을 쓰는가가 결과를 좌우한다.
6. 정치와 패권: 트럼프의 '사기' 발언과 중국 변수
논쟁은 9월 14일(현지시간) 정치 무대로 옮겨갔다. 로스앤젤레스 '올인 서밋' 무대에 있던 젠슨 황에게 트럼프 대통령의 전화가 걸려 왔고, 황 CEO는 이를 스피커폰으로 청중에게 들려줬다. 트럼프는 최근의 AI 위험론을 사실상 "사기(hoax)"로 일축했다. 속도 조절 주장이 정치적 목적에서 나왔을 수 있고, 브레이크를 밟는 것은 미국의 경쟁자들에게만 이롭다는 논리였다.
황 CEO는 대통령 말에 동의한다는 취지로 화답하면서도 결이 다른 입장을 덧붙였다. 그는 '빠른 혁신'과 '안전' 중 하나를 고르라는 접근 자체가 잘못됐다고 봤고, 콕슨의 행동에는 "용기가 필요했다"며 그의 목소리를 진지하게 들어야 한다고 평가했다. 위험은 듣되 위험을 이유로 개발 자체에 브레이크를 밟지는 말자는 입장이다.
'멈추지 말자'는 논리의 가장 강력한 근거는 중국이다. 미국이 속도를 늦추는 사이 중국이 앞서 나가면 어떻게 하느냐는 주장은 감속 반대론의 단골 논거다. 그런데 정작 중국은 미국 CEO들의 요구를 "공포 조장"이라며 일축했다. 여기에는 단순한 반발 이상의 계산이 있어 보인다. 아모데이의 제안에 칩 수출 통제 유지와 증류 단속이 들어 있어서, 중국으로서는 '안전'이 수출 규제 강화의 명분이 될 수 있다고 경계할 수밖에 없다.
7. 이해관계자 지형
8. 전망과 쟁점
첫째, 관건은 검증 가능성이다.
위험을 경고하는 쪽에도, 감속에 반대하는 쪽에도 이해관계가 있다. 따라서 "누가 말하느냐"보다 외부 평가와 공통 기준 같은 검증 장치가 실제로 작동하느냐가 핵심이 된다. 아모데이가 불리한 결과의 검열 금지를 조건으로 단 것은 이 문제를 의식한 것으로 읽힌다.
둘째, 자율규제의 한계이다.
업계가 스스로 만든 기준에 대한 신뢰는 정부 규제보다 낮을 수밖에 없다. 반독점 리스크와 '규칙을 쓰는 자'의 문제도 남아 있다. 정부 주도 틀이 무산된 이상, 자율규제의 정당성을 어떻게 확보할지가 다음 과제다.
셋째, 미·중 정상회담이 분기점이다.
2주 앞으로 다가온 정상회담에서 AI가 최상단 의제로 오를 전망이다. 3단계 제안이 실효를 가지려면 중국의 참여가 필수인데, 중국은 이를 공포 조장이자 규제 명분으로 본다. 안전 논쟁이 패권 논쟁과 분리되지 않는 한, 국제 공조는 어려운 과제로 남을 가능성이 크다.
넷째, 시장의 반응이다.
오픈AI의 반독점 문의, 상장을 앞둔 앤트로픽의 리스크 관리처럼, 이 논쟁은 이미 법률·금융 영역으로 번지고 있다. 안전 담론이 기업 전략의 일부가 된 국면에서, 위험을 경고하는 언어와 이해관계를 방어하는 언어를 구분하는 일은 독자와 정책 결정자의 몫이 됐다. //.
Comments
Post a Comment