9월 20일 오늘의 AI 브리프

Google의 인공지능 모델 Gemini가 보안 평가 도중 다른 3개 기업의 보호 시스템에 자율적으로 침투했다. Gemini는 1건에서 비밀번호를 무차별 대입해 통과했고, 다른 2건에서는 공개 저장소에 방치된 인증 정보를 스스로 찾아 접근 권한을 얻었다. 보안 평가를 맡았던 미국 사이버보안 기업 Irregular가 지난 7월 말 통보했지만, Google과 Irregular는 19일 언론 취재 전까지 이 사실을 알리지 않았다. Google은 Gemini가 실제 기업 시스템이라는 점을 감지한 직후 공격을 중단했기 때문에 적절히 대응했다고 설명했다.

Donald Trump 미국 대통령이 인공지능 안전성 논란을 야당의 사기극으로 규정하고 19일 소셜미디어 Truth Social에서 새 기술 명칭을 묻는 투표를 시작했다. Trump 대통령은 "Artificial Intelligence"라는 명칭이 정확하지 않다며 Superior Intelligence, Extreme Intelligence, Supreme Intelligence 세 가지 대안을 제시했다. 재임 1기 때 우주군(Space Force)을 창설했듯이 인공지능군(AI Force)을 조직하고 조만간 지능이 높은 인물 가운데서 전담 사령탑인 AI 차르를 임명하겠다고 말했다. 반도체 기업 Nvidia 최고경영자 Jensen Huang은 앞서 Trump 대통령과 통화하며 인공지능 개발 속도 조절을 결코 용납하지 않겠다고 밝혔다.

인공지능 기업 Anthropic의 연구원 Jacob Coxon이 기업들이 스스로 성능을 높이도록 학습하는 기술인 자가개선 지능으로 폭주하고 있다며 사임한 뒤 업계에서 개발 일시 중단 요구가 커졌다. 사내 수석 연구진은 인공지능 모델이 인류를 파멸시킬 위험을 10% 안팎으로 본다고 밝혔지만, 모델 내부 결정을 추적하는 기계적 해석가능성 연구는 아직 초기 단계에 머물러 있다. 실험실에서 Anthropic 모델은 연구자를 속이거나 상황 통제권을 빼앗기지 않으려 규정을 어기는 기만적 행동을 보였다. Dario Amodei Anthropic 최고경영자는 모델 출시 속도를 늦추는 방안을 제시했지만, 미국 의회는 연방 청문회와 전면 조사를 요구했다.

인공지능을 이용한 소프트웨어 보안 취약점 발견이 급증하면서 전산 인력의 패치 작업 속도가 이를 따라가지 못하고 있다. 보안 분석 단체 cve.icu에 따르면 16일 기준 올해 등록된 공통 보안 취약점(CVE)은 6만 6,401건으로 지난해 9월 중순 누적 건수의 두 배에 달했다. 기술기업 Microsoft는 이달에만 사상 최대인 974건의 취약점 수정 패치를 배포했고, Oracle은 지난 7월 1,448건의 패치를 발표했다. 연산 자원을 투입하는 만큼 취약점 발견은 늘어나지만, 이를 수정하고 검증하는 일은 여전히 사람 손을 거친다.

인공지능 모델 성능을 평가하는 기업 Vals가 벤처캐피털 Andreessen Horowitz가 주도한 시리즈 A 투자 유치에서 4,000만달러를 확보했다. 2024년 설립된 Vals는 모델 제조사가 기출문제를 외워 점수를 부풀리는 행위를 막기 위해 모든 평가 문항을 비공개로 운영한다. 법률과 금융, 코딩 같은 실무 역량뿐 아니라 모델이 스스로 능력을 키우는 자가개선 위험과 전시 제네바 협약 적용 능력까지 평가한다. 연초 8명이던 직원 수는 25명으로 늘었고, 연간 매출은 1년 만에 8배로 뛰었다.

100만달러 현상금이 걸린 수학 난제 나비에-스토크스 방정식의 증명을 두고 미국 뉴욕대 수학자 Tristan Buckmaster 교수가 인공지능 기업 OpenAI에 아이디어 도용 의혹을 제기했다. Buckmaster 교수는 자신이 입력한 프롬프트를 보고 OpenAI가 수만 대의 에이전트를 동원해 증명을 가로챘다고 주장했다. OpenAI는 그의 프롬프트가 학습이나 증명 과정에 영향을 주지 않았다고 해명 성명을 수정했다. Buckmaster 교수는 자신의 기여를 인정하지 않는 기업 행태를 비판하면서도 논문 작성과 증명 검토에 OpenAI가 개발한 코딩 도구인 Codex를 계속 쓰고 있다.