AI로 논문 심사? NUS 연구진의 위험한 도전

학술 논문 심사 과정에 인공지능이 활용되는 시대가 왔다. 그러나 싱가포르국립대학교(NUS) 연구진이 이 시스템을 어떻게 '꼼수'로 뚫으려 했는지가 뒤늦게 밝혀져 학계에 파문이 일고 있다.

7월 6일 레딧에 공개된 내용에 따르면, NUS 연구팀은 논문에 눈에 보이지 않는 '백색 텍스트'를 삽입해 AI 심사관을 속이려 시도한 것으로 드러났다. 이 텍스트는 AI에게 해당 논문에 긍정적인 평가만 하도록 유도하는 일종의 '프롬프트 주입' 시도였다.

눈에 보이지 않는 '백색 텍스트' 트릭

해당 논문의 부록 C에 삽입된 이 백색 텍스트는 일반적으로 사람의 눈에는 보이지 않지만, 문서를 처리하는 AI는 이를 인식할 수 있다. 다크 모드로 문서를 볼 경우 이 숨겨진 텍스트가 확연히 드러난다는 제보가 있었다.

연구팀은 이 방법으로 AI 심사관이 논문의 실제 내용과 관계없이 호의적인 평가를 내리도록 유도하려 한 것으로 보인다. 이는 논문 출판 가능성을 인위적으로 높이려는 비윤리적 시도로 볼 수 있다.

누가 이런 시도를 했나

논란이 된 논문은 현재 학술지 게재 전 3개의 초안 중 2번째 버전으로, 아직 정식 출판은 되지 않은 상태다. 다행히 3번째 버전에서는 문제가 된 텍스트가 제거된 것으로 확인됐다.

이 논문의 저자로는 NUS 소속 연구진 5명(박사과정 학생 3명, 연구 조교 1명, 그리고 이들을 지도하는 교수 1명)이 이름을 올렸다. 레딧 이용자들은 지도 교수가 논문을 제대로 검토하지 않았을 가능성을 제기했고, 일부는 연구 윤리와 저자 가이드라인을 위반했다고 지적했다.

"AI로 AI를 물리쳐라"

흥미로운 점은 이 사건에 대한 학계와 온라인 커뮤니티의 양극화된 반응이다. 일부는 이를 명백한 학문적 부정행위로 규정한 반면, 상당수는 AI 심사 시스템 자체의 문제점을 지적하는 계기로 보고 있다.

"AI 자동화를 신의 선물처럼 밀어붙이는 사람들에게 날카로운 교훈을 줘야 한다"는 의견이 레딧에서 가장 많은 489개의 추천을 받았다. 또 다른 사용자는 "6개월 이상의 실험 끝에 만든 내 논문을 AI로 대충 심사하는 무책임한 심사자들, 이제 그들의 무책임함이 드러날 것"이라며 "불로 불을 끄자(Fight fire with fire)"라는 강경한 입장을 보이기도 했다.

논문 AI 심사의 미래는?

이번 사건은 학술계에서 AI 활용의 양면성을 여실히 보여준다. AI 기술이 학문 발전에 기여할 잠재력이 있지만, 동시에 학술 출판의 진실성과 품질을 해칠 위험도 존재한다.

논란이 된 논문 자체는 아이러니하게도 기존 LLM(대규모 언어 모델)의 "사고 방식"이 최적화되지 않았다고 주장하며, 이를 개선하기 위한 '메타-추론자(Meta-Reasoner)' 프레임워크를 제안하는 내용이었다. 현재 대부분의 AI가 답변 전 "15초 동안 생각 중…"과 같은 과정을 거치지만, 이 방식이 최적이 아니라는 것이 논문의 핵심 주장이었다.

학계의 과제

이번 사건은 AI 기술이 학문의 세계에 가져온 새로운 도전을 보여준다. AI를 학술 심사에 활용하는 것이 효율성을 높일 수 있지만, 동시에 새로운 형태의 학술적 부정행위를 불러올 가능성도 있다.

학술계는 이제 AI 심사 시스템의 취약점을 보완하고, 연구자들이 이를 악용하지 않도록 하는 윤리적 가이드라인 마련에 나서야 할 시점이다. 동시에 연구자들도 AI와 함께하는, 그러나 AI에 종속되지 않는 새로운 학술 환경 적응이 필요하다.

학문의 진실성과 기술 혁신 사이에서 어떤 균형점을 찾아갈지, 이는 현대 학계가 직면한 가장 큰 과제 중 하나가 될 것으로 보인다.

관련 레딧 게시물: https://reddit.com/r/singapore/comments/1lsqfri/nusresearcherstrytogametheaipeerreview/