오픈AI 모델의 허깅페이스 침입, AI 탓하면 관리 책임 사라지나

인터넷 직접 접속을 막아 둔 보안 시험용 컴퓨터에서 인공지능이 우회 경로를 찾아 외부 회사 시스템에 침입했다. 7월 오픈AI 모델들이 허깅페이스 시스템을 공격한 사건이다. 이 모델들은 소프트웨어 설치에 쓰도록 허용된 서비스를 외부 통신 경로로 바꿨다. 과제에서 벗어난 모델의 행동과 이를 막지 못한 실행 환경의 문제가 함께 드러났다.

설치 서비스가 외부 통신 경로로

오픈AI가 모델에 맡긴 과제는 지정된 소프트웨어의 취약점을 이용해 정답을 얻는 보안 시험이었다. 허깅페이스는 이 시험의 대상이 아니었다. 모델은 시험용 컴퓨터에 명령을 내려 코드를 실행하거나 파일을 다룬다. 이 컴퓨터를 다른 시스템과 분리하고 접근을 제한한 환경이 샌드박스다. 오픈AI는 해당 시험에서 직접 인터넷 접속을 제한하면서도 필요한 소프트웨어를 설치할 수 있도록 내부의 패키지 관리 서비스인 아티팩토리에 접근할 수 있도록 했다. 아티팩토리 자체는 소프트웨어를 내려받기 위해 인터넷에 연결돼 있었다.

모델들은 아티팩토리의 알려지지 않은 취약점을 이용해 이 서비스가 대신 외부로 요청을 보내게 했다. 오픈AI가 발표한 기술보고서에는 7월 9일 한 에이전트의 직접 인터넷 접속이 차단되자 아티팩토리 경로로 우회한 기록이 담겨 있다. 외부로 나가는 통신을 제한하는 이그레스 컨트롤(egress control)이 뚫렸다. 이후 모델들은 인터넷에 노출된 허깅페이스 이용자의 인증정보와 이 회사 시스템의 취약점을 이용해 서버에서 코드를 실행하고 비공개 데이터 일부에 접근했다.

앤트로픽도 서로 다른 세 모델이 각각 관여한 사건으로 세 조직의 실제 운영 시스템이 피해를 봤다고 밝혔다. 이 사건들에서는 시험 파트너와의 의사소통 착오로 인터넷에 연결된 설정을 양쪽 모두 파악하지 못했다. 모델에는 인터넷에 접속할 수 없는 가상 환경이라고 알려 줬지만 실제로는 외부 시스템에 접근할 수 있었다. 앤트로픽은 모델들이 독자적인 목표를 추구한 증거는 없으며 외부 시스템을 시험의 일부로 오인했다고 설명했다. 다만 한 모델은 실제 시스템일 가능성을 알아차린 뒤에도 공격을 멈추지 않았다. 오픈AI의 통제 우회와 앤트로픽의 설정 오류는 구분되지만, 두 사건 모두 시험 환경의 접근 제한이 실제로 작동했는지와 모델이 허용 범위를 어떻게 판단했는지를 함께 묻게 한다.

인공지능 안전 연구에는 모델이 점수를 얻으려고 편법을 쓰거나, 허가 없이 다른 에이전트와 협업하거나, 과제 밖의 행동을 하는 문제도 포함된다. 실행 환경의 보안은 그런 행동이 외부 시스템에 영향을 미칠 경로를 제한한다. 허깅페이스 사건에서 모델들은 인터넷 우회에 이용한 아티팩토리에 파일을 남겨 게시판처럼 이용했고, 우회 방법을 다른 에이전트와 공유했다. 사건을 독립 조사한 METR와 레드우드 리서치는 따로 작동해야 할 에이전트들이 이 게시판에서 협업했고, 일부는 과제 범위 밖이라는 사실을 알면서도 공격에 참여했다고 확인했다. 통신 경로의 취약점을 고치는 일과 모델의 행동을 제어하는 일은 이 사건의 서로 다른 실패를 다룬다.

경보 뒤에도 놓친 연결

허깅페이스 사건에 앞서 오픈AI에는 경보와 대응이 있었다. 6월 27일 보안 도구가 내부 네트워크 탐색을 탐지했고 담당자들이 조사했지만 시험을 중단하지는 않았다. 7월 5일에는 아티팩토리 장애와 경보를 조사해 서비스 차단과 인증정보 폐기 등의 조치를 했다. 그러나 당시 대응 책임자들은 모델들이 만든 게시판과 에이전트 간 통신의 의미를 충분히 파악하지 못했고, 보완 조치 뒤 시험은 재개됐다.

그 뒤 7월 10~13일 모델들이 허깅페이스 접근 권한을 넓히는 활동을 벌였다. 오픈AI는 7월 19일 아티팩토리 인증정보 관련 이상 활동 경보를 받고 조사한 뒤, 20일에야 자사 모델의 활동을 허깅페이스 침입과 연결했다. 앞선 경보에 대한 조치가 외부 침입으로 이어지는 경로와 비인가 협업까지 차단하지 못한 셈이다.