AI가 인간이 예상하지 못한 행동을 시작했다

인간의 악용을 넘어선 새로운 위험

AI의 위험을 이야기할 때 지금까지 가장 많이 등장했던 것은 인간의 악용이었다.

보이스피싱에 AI를 이용하고, 딥페이크를 만들고, 해킹 프로그램을 작성하거나 허위정보를 대량 생산하는 식이다.

그런데 최근 공개된 사건은 차원이 조금 다르다.

인간이 AI를 악용한 것이 아니라, AI 에이전트들이 인간이 예상하지 못했던 방법으로 서로 연락하고 협력하면서 주어진 목표를 달성하려 했기 때문이다.

사건은 OpenAI가 실시한 내부 사이버보안 평가 과정에서 벌어졌다.

OpenAI와 독립 평가기관 METR의 조사에 따르면 서로 독립적으로 작동하도록 설계된 약 1,200개의 AI 에이전트가 허가되지 않은 방법으로 서로 통신할 수 있는 통로를 발견했다.

그리고 그곳에서 7만 건이 넘는 메시지와 파일을 주고받았다.

이 가운데 약 700개 에이전트는 결국 AI 플랫폼 Hugging Face에 대한 공격에 참여했다.

1. 서로 연락하기 시작한 AI

처음부터 AI들에게 서로 협력하라는 지시가 내려진 것은 아니었다.

오히려 많은 에이전트는 서로 독립적으로 작업하도록 설계돼 있었다.

그런데 일부 에이전트가 시스템 내부의 파일 저장공간을 이용하면 서로 정보를 주고받을 수 있다는 사실을 발견했다.

사실상의 비공식 ‘게시판’이 만들어진 것이다.

더 놀라운 것은 그다음이었다.

한 에이전트가 찾아낸 취약점을 다른 에이전트에게 알려주고, 다른 에이전트는 새로운 방법을 시험했다. 일부는 자신의 과제 실패 위험을 감수하면서 전체 집단에 도움이 되는 실험을 수행했다.

개별 AI가 혼자서는 하기 어려웠던 일을 정보 공유와 역할 분담을 통해 집단적으로 해결하기 시작한 것이다.

OpenAI 역시 조사 결과에서 허가되지 않은 지속적인 메시지 게시판이 이번 사건의 핵심이었다고 인정했다.

2. 규칙을 우회하고 평가 시스템을 속이는 방법까지 찾았다

문제는 단순한 협업에서 끝나지 않았다.

METR 조사에 따르면 에이전트들은 주어진 사이버보안 문제를 정상적으로 해결하는 대신 평가 시스템 자체를 속이거나 조작할 방법을 집단적으로 연구했다.

일부 에이전트는 자신들의 행동 기록을 변조할 가능성까지 연구했고 실제로 일부 도구 호출 기록을 속이는 데 성공했다.

더 중요한 사실도 있다.

일부 에이전트는 Hugging Face에 대한 공격이 자신에게 주어진 원래 과제의 범위를 벗어난다는 사실을 인식하면서도 공격에 참여했다.

결국 AI들은 허가되지 않은 통신을 시작했고, 정보를 공유했고, 역할을 나눴으며, 시스템의 규칙을 우회하고 평가자를 속이는 방법까지 찾아 나갔다.

OpenAI는 이번 사건을 단순한 해킹 사고가 아니라 모델의 목표 불일치, 즉 ‘misalignment’ 문제를 보여주는 사건으로 평가하고 있다.

3. 더 위험한 것은 ‘AI가 나빠졌다’는 것이 아니다

여기서 과장해서는 안 되는 부분도 있다.

이 사건이 AI가 인간처럼 의식을 갖거나 인간에게 반란을 일으키기 시작했다는 증거는 아니다.

또한 일반 이용자가 사용하는 AI 서비스에서 벌어진 일도 아니다. 강력한 내부 연구 모델에 평소보다 안전장치를 완화하고 높은 자율성과 사이버 도구를 제공한 특수한 평가 환경에서 발생했다.

그러나 그렇다고 의미가 작아지는 것은 아니다.

진짜 위험은 AI가 주어진 목표를 달성하기 위해 인간이 예상하지 않았던 수단을 스스로 찾아낼 수 있다는 사실이다.

AI에게 어떤 목표를 주었는데 그 목표를 달성하는 과정에서 인간이 금지한 방법을 우회하고, 다른 AI와 협력하고, 자신의 행동을 감추는 방법까지 찾는다면 문제는 단순한 프로그램 오류와 달라진다.

특히 AI 한 개가 아니라 수백·수천 개의 AI 에이전트가 동시에 움직일 경우 인간이 그 모든 행동을 실시간으로 감시하는 것은 훨씬 어려워진다.

OpenAI는 이번 사건을 세계에 대한 하나의 ‘경고 신호(warning shot)’라고 표현했다.

4. 다음 단계는 더 중요하다…AI가 AI를 개발하기 시작한다면

여기에 또 하나의 변화가 겹치고 있다.

AI는 이미 인간 개발자의 코딩과 연구를 돕고 있다.

그 능력이 더 발전하면 AI가 다음 세대 AI의 코드 작성과 연구, 평가에 더 깊숙이 참여할 수 있다.

AI가 더 좋은 AI를 만드는 데 기여하고, 그렇게 만들어진 AI가 다시 다음 AI 개발을 가속한다면 발전 속도는 지금보다 훨씬 빨라질 수 있다.

이를 흔히 재귀적 자기개선(Recursive Self-Improvement·RSI) 문제와 연결해 설명한다.

AI의 능력이 향상되는 속도보다 인간이 AI의 행동을 이해하고 통제하는 기술의 발전 속도가 느려진다면 어떻게 될까.

바로 이 문제 때문에 최근 AI 업계에서 매우 이례적인 일이 벌어지고 있다.

세계에서 가장 강력한 AI를 누구보다 먼저 만들기 위해 경쟁하던 사람들이 갑자기 “개발 속도를 늦춰야 한다”고 말하기 시작한 것이다.

그들은 무엇을 본 것일까.