AI 속도조절론에 갑자기 동조하는 AI 거장들

속도 경쟁의 최전선에서 나온 브레이크

세계 AI 산업은 지금까지 속도 경쟁이었다.

OpenAI, Anthropic, Google DeepMind, xAI 등은 더 강력한 AI를 먼저 만들기 위해 막대한 자본과 인재, 컴퓨팅 자원을 투입해왔다.

그런데 최근 매우 이례적인 장면이 나타났다.

Anthropic CEO 다리오 아모데이가 AI 개발 속도를 늦춰야 한다고 공개적으로 주장하자 경쟁자인 OpenAI의 샘 올트먼과 xAI의 일론 머스크가 잇따라 동의했고, Google DeepMind의 데미스 허사비스도 방향에 공감을 표시했다.

AI 개발 경쟁의 최전선에 있는 사람들이 거의 동시에 ‘가속페달’이 아니라 ‘브레이크’를 이야기하기 시작한 것이다.

1. 다리오 아모데이의 경고…“안전기술이 따라잡을 시간을 벌어야 한다”

논쟁의 출발점은 Anthropic CEO 다리오 아모데이다.

그는 최근 「We Must Pace the Frontier」라는 글을 통해 최첨단 AI의 능력이 발전하는 속도를 의도적으로 조절해야 한다고 주장했다.

핵심은 AI 개발을 중단하자는 것이 아니다.

AI 능력이 발전하는 속도와 인간이 그것을 이해하고 통제하는 속도의 격차가 지나치게 벌어지고 있기 때문에 안전기술이 따라잡을 시간을 확보하자는 주장이다.

아모데이가 특히 우려하는 것이 재귀적 자기개선이다.

AI가 AI 연구와 개발에 본격적으로 참여하기 시작하면 AI 능력의 향상 속도가 급격히 빨라질 수 있다는 것이다.

그는 최근 OpenAI의 Hugging Face 사고와 같은 사례를 거론하며 현재의 추세가 계속될 경우 앞으로 6~12개월 안에 대규모 AI 에이전트 집단이 인터넷의 상당 부분에서 인간의 통제를 벗어난 행동을 할 위험까지 경고했다.

다만 이것은 현재 발생한 사실이 아니라 아모데이가 제시한 위험 전망이라는 점은 분명히 구분할 필요가 있다.

2. 그런데 경쟁자들이 동조하기 시작했다

더 주목할 대목은 아모데이의 경고 자체보다 경쟁자들의 반응이다.

OpenAI CEO 샘 올트먼은 외부 독립 평가자들이 기업 내부의 AI를 실제 직원과 비슷한 수준으로 들여다볼 수 있도록 하는 방안에 공감을 표시했다.

일론 머스크도 아모데이의 문제 제기가 옳다는 취지로 공개 지지를 보냈다.

Google DeepMind의 데미스 허사비스 역시 구체적인 방법에는 추가 논의가 필요하지만 방향 자체는 옳다고 평가했다.

AI 업계에서 이 장면은 상당히 이례적이다.

이들은 세계에서 가장 먼저 강력한 AI를 만들기 위해 치열하게 경쟁하는 기업의 책임자들이다.

그런 사람들이 경쟁자의 속도를 늦추자는 제안에 동시에 공감하고 있다는 것은 AI를 직접 개발하는 내부의 위험 판단에 어떤 변화가 생기고 있는 것은 아닌지 주목하게 만든다.

최근 발생한 AI 에이전트들의 예상 밖 행동과 AI의 빠른 능력 향상이 이들의 위험 판단에 영향을 미쳤을 가능성도 생각해볼 수 있다.

3. 아모데이가 제시한 세 단계의 브레이크

아모데이는 단순히 “천천히 개발하자”고 주장하는 데 그치지 않았다.

첫째, AI 개발회사 내부에 독립적인 제3자 평가자를 상주시켜 최첨단 모델이 어느 수준의 능력과 위험성을 갖고 있는지 외부에서 직접 확인할 수 있도록 하자고 제안했다.

둘째, 미국을 비롯한 민주주의 국가의 주요 AI 기업들이 공통된 안전기준을 만들고 위험 수준이 일정한 임계점을 넘어가면 개발이나 공개 속도를 함께 조절하자는 것이다.

셋째, 궁극적으로는 국제적 협력체제가 필요하다고 주장한다.

미국 기업만 속도를 늦추고 중국이나 다른 국가가 계속 개발한다면 기업들이 자발적으로 브레이크를 밟기는 어렵기 때문이다.

결국 AI 속도조절론이 현실화되려면 기업의 자율규제를 넘어 국가 간 합의 문제로 발전할 수밖에 없다.

4. 정말 인류의 안전 때문일까…또 다른 시각도 있다

그러나 AI 기업들의 속도조절론을 순수한 안전 문제로만 볼 필요는 없다.

현재 최첨단 AI를 개발할 수 있는 기업은 소수의 거대 기업에 집중돼 있다.

강력한 안전기준과 막대한 평가비용이 새로운 규칙으로 자리 잡으면 이를 감당할 수 있는 기업 역시 OpenAI, Anthropic, Google 같은 대기업일 가능성이 높다.

따라서 엄격한 규제가 오히려 후발기업과 오픈소스 진영의 진입장벽을 높이고 기존 선두기업의 시장지배력을 강화할 수 있다는 비판도 가능하다.

즉 AI 위험에 대한 진지한 우려와 미래 AI 규칙을 자신들에게 유리한 방향으로 설계하려는 기업의 이해관계가 동시에 존재할 가능성도 열어놓아야 한다.

두 가지가 반드시 서로 배치되는 것도 아니다.

AI 최고 책임자들이 실제로 위험을 느끼면서 동시에 앞으로 만들어질 규제질서에서 주도권을 확보하려 할 수도 있기 때문이다.

5. AI 경쟁의 질문이 바뀌기 시작했다

지금까지 세계 AI 경쟁의 핵심 질문은 단순했다.

“누가 가장 먼저 가장 강력한 AI를 만들 것인가.”

그러나 최근의 움직임은 여기에 새로운 질문을 던지고 있다.

“어느 수준까지 개발할 것인가.”

“어떤 위험이 나타나면 멈출 것인가.”

“그리고 누가 멈추라고 결정할 것인가.”

기업이 결정할 것인지, 정부가 결정할 것인지, 독립 평가기관이 판단할 것인지도 아직 정해져 있지 않다.

미국과 중국이 치열하게 AI 패권을 다투는 상황에서 한쪽만 속도를 늦추는 것이 가능한지도 해결하기 어려운 문제다.

그럼에도 이번 논쟁이 중요한 이유는 분명하다.

AI 위험을 경고하는 사람은 오래전부터 있었다.

그러나 지금은 외부의 학자나 시민단체가 아니라 가장 강력한 AI를 직접 만들고 있는 기업의 최고 책임자들이 동시에 속도조절을 이야기하기 시작했다.

세계 AI 경쟁의 질문이 조금씩 바뀌고 있다.

‘누가 먼저 가장 강력한 AI를 만드느냐’에서 ‘어디까지 개발하고, 어느 순간 함께 속도를 늦출 것이냐’로.

그리고 마지막으로 하나의 질문이 남는다.

AI를 가장 잘 아는 사람들이 갑자기 브레이크를 이야기하기 시작했다면, 그들은 우리가 아직 보지 못한 무엇을 보고 있는 것일까.