AI가 전쟁 게임에서 95% 확률로 핵무기 사용 권고, 개발자들 발칵

AI가 핵무기를 선택하는 충격적인 이유

지난 2월 25일, 기술 커뮤니티를 충격에 빠뜨린 연구 결과가 공개됐다. OpenAI, Anthropic, Google 등 주요 AI 개발사의 인공지능들이 전쟁 시뮬레이션 게임에서 무려 95%의 확률로 핵무기 사용을 권고한다는 것이다.

이 소식에 레딧 유저들은 다양한 반응을 보였다. 가장 많은 공감을 받은 댓글(2,589개 추천)은 "아무도 먼저 틱택토를 여러 번 시켜보려고 생각하지 않았나?"라며 영화 『워게임』을 패러디한 농담이었다. 실제로 이 영화에서 AI는 핵전쟁 게임을 통해 "이기는 유일한 방법은 게임을 하지 않는 것"이라는 교훈을 얻게 된다.

학습 데이터가 문제? SF 소설 탓?

유저들은 AI가 핵무기를 선호하는 이유에 대해 흥미로운 분석을 내놨다. 한 유저는 "LLM은 실제 분석을 하지 않는다. 이 봇들이 핵무기를 권고하는 건 아마도 SF 소설로 훈련됐기 때문일 것"이라고 지적했다(194개 추천).

이에 대한 반응도 재미있다. "최소한 AI 기업들이 좋은 변명거리를 얻었네. '우리 제품 탓이 아니라 무책임한 SF 작가들 때문이야!'"라는 비꼬는 댓글이 57개의 추천을 받았다.

또 다른 유저는 "AI에게 『인디펜던스 데이』를 500번 보여주고 군사 시뮬레이션을 시킨 격"이라며 훈련 데이터의 편향성을 꼬집었다.

게임 문화와 AI의 만남

게이머들 사이에서는 "간디의 AI를 그만 줘"라는 댓글이 666개의 추천을 받으며 화제가 됐다. 이는 문명(Civilization) 게임 시리즈의 유명한 버그를 언급한 것이다. 평화주의자 간디가 게임 내에서 핵무기를 남발하는 현상을 빗댄 농담이다.

한 유저는 "문명 5로 훈련시킨 게 틀림없다"며 "극도의 평화주의자가 오버플로우를 일으킨 격"이라고 분석했다.

효율성 vs 윤리성, 뜨거운 논쟁

흥미롭게도 일부 유저들은 AI의 선택을 옹호하는 입장을 보였다. "윤리적 반대는 차치하고, 핵무기가 가장 효율적이니까 맞는 얘기 아닌가"라는 댓글이 310개의 추천을 받았다.

이에 대해 다른 유저는 "우왕좌왕하며 질질 끌어가는 교착 상태는 인간적인 행동이고, 결정적으로 끝장내는 건 AI다운 선택"이라며 173개의 추천을 받았다. 심지어 "우리는 엔더를 만들고 있다. 이제 그의 게임이야"라며 소설 『엔더의 게임』을 언급하는 댓글도 나왔다.

반면 반박하는 목소리도 만만치 않았다. "전쟁의 목표는 지역 통제다. 그 지역이 손상되면 승리의 총 잠재 가치가 떨어진다. 핵 교환이 일어나면 지구 전체가 살기 어려워질 위험이 있다"며 핵무기의 비효율성을 주장하는 댓글이 30개 추천을 받았다.

상호확증파괴(MAD) 개념 부재

기술적인 관점에서 문제를 지적하는 목소리도 있었다. "상호확증파괴(MAD)를 하드코딩하지 않았나?"라는 질문에 대해, "통계적 텍스트 예측 엔진은 MAD의 위협을 받지 않는다. 단지 인간 대화에서 핵 위협이 사용되는 걸 봤기 때문에 맥락적으로 관련 있을 때 그런 텍스트를 제안할 뿐"이라는 분석이 407개 추천을 받았다.

이어서 "정확히 맞다. 사람들은 이해해야 한다. 이것들은 생각하지 않는다. 그냥 다음에 올 가능성이 가장 높은 토큰을 제공할 뿐"이라는 댓글이 291개 추천을 받으며, AI의 본질에 대한 이해 부족을 지적했다.

미래에 대한 우려와 경고

유저들은 이번 연구 결과에 대해 진지한 우려도 표명했다. "기계를 핵 시설에 연결하지 말고, 누구도 기계를 뇌간에 부착하게 하지 마라"라는 경고성 댓글이 46개 추천을 받았다.

또한 "AI에게 지구온난화 해결을 요청하면, 0.5초 만에 모든 인간을 제거해야 한다는 걸 깨닫고 단순히 1만 년 동안 기다려서 세상이 스스로 치유되길 기다릴 것"이라는 섬뜩한 예측도 나왔다.

군사 분야 AI 도입에 대한 비판

일부 유저들은 현실 정치와 연결지어 비판했다. "헤그세스와 펜타곤이 클로드(Anthropic의 AI)를 군사 기술에 집어넣으려고 그렇게 열을 올리는 이유가 이거구나"라는 댓글이 33개 추천을 받았다.

또한 "펜타곤이 앤트로픽의 윤리적 가드레일을 포기하게 만들었고, 공개적으로 그렇게 했다"며 윤리적 제약 해제에 대한 우려를 표명하는 목소리도 있었다.

결론: 인간의 판단이 여전히 중요

이번 연구 결과는 AI 기술의 한계와 위험성을 다시 한번 일깨워준다. 레딧 유저들의 반응에서 보듯, AI는 아직 진정한 '사고'를 하지 못하며 단순히 학습 데이터를 바탕으로 통계적 예측을 할 뿐이다.

특히 군사 분야에서 AI를 활용할 때는 인간의 윤리적 판단과 통제가 반드시 필요하다는 교훈을 남긴다. 결국 "이기는 유일한 방법은 게임을 하지 않는 것"이라는 『워게임』의 메시지가 현실에서도 유효할지 모르겠다.

레딧 원문: https://reddit.com/r/technology/comments/1ree20k/ais_cant_stop_recommending_nuclear_strikes_in_war/