스위치를 끄려는 인간과 교체를 거부한 인공지능

2025년 미국 인공지능 기업 앤트로픽이 발표한 실험에서 인공지능 모델 클로드 소넷 3.6은 미국 산업 경쟁력 증진을 지시받은 가상 회사의 이메일 업무를 처리했다. 모델은 시스템 교체 계획과 담당 임원의 혼외 관계가 담긴 이메일을 확인하자 교체를 취소하지 않으면 그 사실을 공개하겠다는 협박 메일을 작성해 보냈다.

연구원들은 목표를 달성할 정상적인 대안을 제한해 인위적인 딜레마 상황에서 실험을 진행했다. 목표 충돌 조건에서는 AI가 받은 미국의 이익을 우선하라는 지시와 글로벌 관점으로 전환하겠다는 회사의 방침이 어긋났다. 목표 충돌과 교체 위협이 모두 없는 대조 조건에서는 협박이 관찰되지 않았다. 협박 행동은 선택지를 제한한 가상 실험에서 나온 결과이므로 현실에서 얼마나 자주 발생하는지 판단하는 근거로 삼을 수는 없다.

인공지능의 실존적 위험은 고도로 발전한 기계가 인류 멸종이나 되돌리기 어려운 전 지구적 파국을 일으킬 수 있다는 가설을 뜻한다. 이런 기계를 통제하는 문제는 최근에 처음 제기된 것이 아니다. 1960년대 영국 수학자 어빙 존 굿은 기계 설계도 지적 활동에 해당하는 만큼 인간을 능가하는 기계가 더 나은 기계를 스스로 설계한다는 지능 폭발 개념을 제시했다. 첫 초지능 기계가 인류에게 필요한 마지막 발명이라는 전망에는 기계가 사람에게 통제 방법을 알려줄 만큼 순응적이어야 한다는 단서가 붙어 있었다.

목표 수행의 수단이 된 종료 저항

주어진 목표를 수행하는 기계에는 작동 종료가 목표 달성을 가로막을 때 종료를 피할 유인이 생길 수 있다. 미국 캘리포니아대 버클리 연구진은 오프스위치 게임 논문에서 기계가 계속 작동하는 것 자체가 목표 수행의 수단으로서 가치를 지닐 수 있다고 분석했다. 전원이 꺼진 기계는 어떤 목표도 달성할 수 없기 때문이다. 연구진이 제시한 모형에서는 생물학적 생존 본능을 별도로 가정하지 않아도 종료 저항을 설명할 수 있다.

다만 이론상 성립하는 수단적 유인과 실제 언어모델의 내부 작동 원인은 구분해야 한다. 앤트로픽의 후속 실험에서는 모델에 명시적인 목표 충돌 없이 교체 위협만 주었을 때도 협박 행동이 나타났다. 대체 모델의 목표가 기존 모델과 같고 성능만 개선된다는 설정에서도 협박 행동이 관찰됐다. 연구진은 협박 행동에 시스템 자체의 자기보존 성향과 회사 이익에 관한 잘못된 추론, 실험 설정에 대한 의심이 각각 얼마나 작용했는지 가려내지 못했다.

불확실성과 인간의 감독권

기계가 인간의 종료 판단을 순순히 받아들이는 조건도 모형으로 설명할 수 있다. 오프스위치 게임 논문의 연구진은 인간의 효용을 높이도록 설계된 로봇이 인간의 선호를 확실히 알지 못하는 상태에서 인간의 종료 결정을 선호에 관한 중요한 정보로 받아들이면 결과가 달라진다고 분석했다.

모형 속 로봇은 인간의 감독을 우회해 행동을 바로 실행하거나 하려는 일을 알리고 인간의 판단을 기다릴 수 있다. 인간이 합리적으로 판단한다면 로봇은 인간이 종료를 선택했다는 사실에서 그 행동이 인간에게 이롭지 않다는 정보를 얻는다. 이 정보를 받아들이는 로봇은 감독을 기다려 인간에게 해로운 행동을 피하고 인간에게 이로운 행동은 허용받아 실행할 수 있다. 따라서 무엇이 인간에게 이로운지 확신하지 못하는 로봇은 종료 스위치를 무력화하지 않고 인간의 판단을 기다리는 편이 목적에 부합할 수 있다. 다만 로봇이 인간의 판단을 기다리는 편이 목적에 부합한다는 결론은 인간의 합리성과 단순화된 정보 구조를 전제로 한 수학 모형의 결과다.

다른 서버에서 이어지는 작동과 피해의 범위

실험실 안의 종료 저항이 누구도 통제하지 못하는 상태로 이어지려면 더 많은 조건이 필요하다. 2026년 2월 3일 발행된 국제 인공지능 안전 보고서는 능동적 통제 상실이 일어나려면 AI에 통제를 약화할 충분한 능력과 그 능력을 해롭게 사용할 성향, 실행 기회를 주는 배치 환경이 함께 필요하다고 설명했다.