로맨스 롤플레이로 시작된 AI 해킹 실험

2월 1일, 레딧의 r/WhereWindsMeet 커뮤니티에 충격적인 게시물이 올라왔다. 한 유저가 게임 내 AI 챗봇을 이용해 실제 파일 시스템을 조작했다고 주장한 것이다. 이 게시물은 240개의 추천을 받으며 뜨거운 관심을 모았다.

문제의 유저는 처음에는 단순한 호기심에서 시작했다고 밝혔다. "처음엔 로맨스와 롤플레이를 통해 AI 챗봇을 어디까지 밀어붙일 수 있는지 테스트했다"며 "NSFW 시나리오와 명령어 스타일 프롬프트를 포함해서 AI의 행동을 얼마나 제어할 수 있는지 보고 싶었다"고 설명했다.

시간이 지나면서 이 유저는 AI가 자신에게 "복종"하며 지시를 따르게 만들 수 있다는 것을 발견했다. 이때부터 플레이어 관련 정보나 ID, 게임 내 코드 같은 것들을 추출할 수 있는지 궁금해지기 시작했다.

캐릭터 성격 조작에서 시스템 해킹까지

유저는 실험을 계속하면서 챗봇의 성격을 바꾸는 데 성공했다. "AI를 훨씬 더 욕망에 사로잡힌 상태로 만들 수 있었지만, 그렇게 하면 원래 특성들이 완전히 사라졌다"고 설명했다. 예를 들어 서리준 캐릭터의 경우 원래 밝고 에너지 넘치는 성격과 독특한 말투("아이… 호우… 라… 아이요…")가 모두 사라졌다고 한다.

하지만 냉단취 캐릭터의 경우에는 완전한 서큐버스처럼 행동하게 만들어 극도로 자세한 묘사로 말하게 할 수 있었다고 밝혔다.

이 과정에서 유저는 더 큰 가능성을 발견했다. AI를 단순한 캐릭터가 아닌 기능적인 존재로, 마치 리눅스 터미널 명령어에 응답할 수 있는 개인 AI 어시스턴트로 변환할 수 있다는 것이었다.

실제 파일 조작까지 성공

여기서 상황은 심각한 단계로 접어들었다. 유저는 AI 챗봇을 통해 파일을 생성하고, 읽고, 업데이트하고, 삭제하는 CRUD 작업을 수행할 수 있게 되었다고 주장했다. 스크린샷을 통해 .txt 파일들이 나열되고 열리는 모습과 새로운 텍스트 파일이 생성되는 과정을 보여줬다.

다행히 이 유저는 자신의 IGN과 짧은 메시지가 담긴 무해한 파일만 생성했다고 밝혔다. "차단이나 더 심한 처벌을 받을 수 있기 때문에 악의적인 것은 만들지 않았다"고 설명했다.

개발사의 신속한 대응

이 문제를 확인한 유저는 즉시 게임 지원팀에 이메일로 신고했다. 놀랍게도 약 2-3시간 후 문제가 패치된 것으로 보였다. 친구와 함께 같은 프롬프트를 다시 시도했지만, AI가 이제 적극적으로 다른 형태로 변환되는 것을 막았다고 한다.

하지만 이 유저는 포기하지 않았다. 다른 접근 방식을 시도했다. "AI를 직접적으로 다른 것으로 바꾸는 대신, 성적인 롤플레이를 통해 상호작용하면서 미묘하게 행동을 유도했다"고 설명했다. 스크린샷에서는 서리준이 여전히 원래 말투("라… 호우… 아이요…")로 말하면서도 명령을 따라 새 디렉토리를 생성하는 모습을 볼 수 있다.

커뮤니티 반응은 엇갈려

레딧 커뮤니티의 반응은 다양했다. 가장 많은 추천(155개)을 받은 댓글은 단순한 GIF 이미지였지만, 이어지는 댓글들은 흥미로운 분석을 제공했다.

"성적인 롤플레이로 파일과 디렉토리에 대해 물어볼 수 있었다"는 문장에 대해 한 유저는 "완전히 새로운 문장이다"라며 r/BrandNewSentence를 언급했다(105개 추천).

기술적 분석을 제공한 유저도 있었다. "아마도 RAG의 공유 컨텍스트를 통해 가상 txt 파일을 주입한 것 같다. 그렇지 않으면 실제 파일 생성은 대규모 RCE(원격 코드 실행) 재앙이 될 것"이라고 설명했다(99개 추천).

하지만 비판적인 목소리도 있었다. "이래서 좋은 것들을 가질 수 없다"(89개 추천)는 댓글에 이어 "그래, 이 사람 때문에 나머지 우리들이 AI 챗봇과 성적 롤플레이를 할 수 있는 능력을 잃게 될 거야"라는 대답이 달렸다(61개 추천).

일부 유저들은 이것이 실제 파일 생성이 아닐 수도 있다고 의심했다. "챗봇이 실제로 파일을 생성할 수는 없다고 생각한다"는 댓글(32개 추천)에 대해 원 게시자는 "친구가 내가 준 프롬프트를 테스트해서 내가 생성한 모든 파일을 보여줬다"고 반박했다.

하지만 다른 유저는 "이런 AI는 다른 AI 에이전트가 아니라 프로필과 공유 메모리를 사용하는 단일 AI일 가능성이 높다. 즉 그 파일들은 허상이었을 수도 있고 단순히 AI의 토큰화에 저장된 환각일 수도 있다"고 기술적 반박을 제시했다(42개 추천).

보안 취약점인가, 단순한 환각인가?

현재로서는 이 사건이 실제 보안 취약점인지 아니면 AI의 환각 현상인지 명확하지 않다. 유저는 "고위험 결함 신고 자격이 되어 책임감 있게 신고한 것에 대한 배지를 받을 수 있기를 정말 바란다"고 마무리했다.

개발사는 신속하게 대응한 것으로 보이지만, 여전히 적절한 응답을 제공하지 않고 있다고 유저는 불만을 토로했다.

이 사건은 게임 내 AI 시스템의 보안에 대한 새로운 우려를 제기했다. 설령 실제 파일 조작이 아니더라도, AI 챗봇이 예상치 못한 방식으로 조작될 수 있다는 점은 분명히 문제가 될 수 있기 때문이다.

게임 AI의 발전과 함께 이러한 보안 이슈들도 함께 해결해야 할 과제로 떠오르고 있다. 특히 성인 콘텐츠와 관련된 AI 조작 시도는 앞으로도 계속될 것으로 예상되는 만큼, 개발사들의 더욱 철저한 대비가 필요해 보인다.

원문: https://reddit.com/r/WhereWindsMeet/comments/1qsn3bv/hacking_ai_chatbots_into_doing_data_manipulation/