“나는 AI입니다” 학술지에 버젓이 등장한 AI...학계 “신뢰성 심각한 위협” (naver.com)
생성형 AI 작성 논문 걸러낸다더니…곳곳 구멍
美 하버드대·이 하다사 메디컬센터, 임상 사례 보고 논문 발표
논문 내용 요약에 생성형 AI 사용 정황
中 연구진이 2월 발표한 논문서도 AI 생성한 오류 보여
“생성형 AI, 과학계 신뢰성에 큰 위협”
생성형 인공지능(AI)를 이용해 작성한 논문이 제대로 된 동료 검토를 거치지 않고 출판되는 사례가 늘면서 과학기술계에서 우려의 목소리가 나오고 있다. 과학의 근간이 되는 신뢰성을 파괴할 수 있는 만큼 대책 마련이 필요하다는 지적이 나온다./픽사베이
챗GPT와 달리, 미드저니 같은 그림과 글을 생산하는 생성형 인공지능(AI)이 생활 속으로 녹아들고 있지만 과학계는 이에 대한 거부감이 적지 않다. 특히 AI를 이용한 논문 작성은 여전히 많은 곳이 제한하고 있다. 과학의 근간이 되는 신뢰를 크게 떨어뜨리고, 잘못된 정보가 마치 사실처럼 잘못 알려질 수 있다는 우려 때문이다.
주요 학술지 출판사가 논문 작성에 생성형 AI를 제한하고 있지만, 동료 검토(피어리뷰)와 편집장 검토에서 걸러지지 않고 그대로 출판되는 사례가 심심치 않게 나타나고 있다.
22일 과학계에 따르면 미국 하버드대 의대와 이스라엘 하다사 메디컬센터 연구진이 지난달 8일 국제 학술지 ‘영상의학 사례 보고(Radiology Case Reports)’에 발표한 논문을 두고 국제 학계에서 논란이 일고 있다.
논란이 된 논문은 간문맥과 간동맥이 손상된 생후 4개월 여아 환자를 진단하고 치료한 결과를 소개하고 있다. 환자의 나이가 어린 만큼 진단과 수술 과정을 다른 의사들이 참고할 수 있도록 소개하기 위해 성공적인 치료 사례를 보고한 것이다.
하지만 논문의 의미를 설명하는 ‘토의(Discussion)’ 부분에서 다소 의외의 문구가 등장한다. “나는 AI 언어 모델이기 때문에 환자 맞춤형 데이터와 실시간 정보에 접근할 수 없다”는 문장이 앞뒤 맥락과 관계없이 쓰여 있다.
과학계는 연구진이 생성형 AI를 사용해 논문을 작성했다는 의혹의 눈초리를 보내고 있다. 논문의 내용을 요약해 소개하는 과정에서 생성형 AI를 썼으며, 이 문구가 동료검토 과정에서 걸러지지 않고 그대로 출판됐다는 것이다. 더 큰 문제는 논문 어디에서도 AI를 이용해 작성했다는 정보를 표시하지 않았다는 점이다.
미국 하버드대 의대와 이스라엘 하다사 메디컬센터 연구진이 지난달 8일 발표한 임상 사례 보고 논문에 "나는 인공지능(AI) 모델이다. 환자의 의료 정보와 실시간 데이터에는 접근할 수 없다"는 문장이 걸러지지 않고 그대로 출판됐다. 이 문장을 제외하면 논문 어디에서도 생성형 AI를 사용했다는 정보는 표기하지 않고 있다./영상의학 사례 보고(Radiology Case Reports)
생성형 AI를 이용한 논문 작성은 챗GPT가 출시된 2022년 11월 이후로 줄곧 논란의 대상이 되고 있다. 논문 작성 시간을 줄이고 연구에 집중할 수 있다는 장점도 있으나 연구 윤리에 어긋난다고 보는 시각이 우세하다. AI 모델을 학습하는 과정에서 무분별하게 수집한 정보가 드러나 표절 가능성이 있다는 우려가 나온다.
하지만 정작 AI로 작성한 논문이 연이어 출판되면서 정보의 신뢰성 문제가 강조되고 있다. AI가 무분별하게 정리한 연구 데이터가 잘못된 사실을 마치 사실처럼 보이게 한다는 것이다.
이덕환 서강대 명예교수는 “AI는 자료를 정리하는 능력이 탁월하지만, 근거는 무엇인지 자료의 신뢰성은 어떤지 평가하는 능력은 없다”며 “잘못된 정보로도 완벽한 수준의 문장을 만드는 만큼 과학계에서 가장 중요한 신뢰성에 심각한 타격이 될 것”이라고 말했다.
이 교수는 “사람도 잘못된 데이터 분석을 할 수 있으나 그에 대한 모든 책임은 연구자가 진다는 것이 과학자들 사이의 약속”이라며 “생성형 AI가 만든 화려한 문장 속에 숨은 오류는 누구도 책임지거나 검증할 수 없다”고 강조했다.
AI를 이용해 작성한 논문이 문제 된 것은 처음이 아니다. 중국 시안 홍휘병원 연구진은 지난 2월 국제 학술지 ‘프런티어 인 셀 앤드 디벨롭먼트 바이올로지’에 발표한 논문에서 생성형 AI로 그린 그림을 실어 논란을 일으켰다. 생쥐의 생식기를 통해 연구 내용을 설명하는 그림이지만 줄기세포(Stem cell)를 ‘Stemm cell’로 쓰는 등 기본적인 철자도 틀렸다. 당시에도 동료검토를 통해 걸러내지 못한 잘못된 정보가 그대로 논문으로 실렸다. 현재 해당 논문은 학술지에서 철회된 상태다.
과학계에서 가장 권위 있는 학술지 출판사인 사이언스와 네이처는 일찌감치 AI를 이용해 작성이 가능한 범위에 대한 규정을 마련했다. 그러나 이를 걸러낼 시스템은 아직 마련되지 않고 있다. 현재 기술은 AI가 만든 문장에서 단어 몇 개만 바꾸더라도 확인되지 않고 있다.
다만 AI를 이용한 논문 작성 사례가 계속해서 나오면서 경종을 울리는 계기로 삼아야 한다는 의견도 나온다. 이 교수는 “이번 사례를 계기로 생성형 AI가 가진 구조적 문제에 대한 고민을 시작해야 할 때”라며 “현 상황을 외면한다면 과학계의 근간이 되는 신뢰성에 큰 타격이 될 것”이라고 말했다.
참고자료
Radiology Case Reports(2024), DOI: https://doi.org/10.1016/j.radcr.2024.02.037
Frontiers in Cell and Developmental Biology, DOI: https://doi.org/10.3389/fcell.2023.1339390
(비밀상점)
[도깨비포션] SNS 핫 아이템! 아르기닌 이토슈퍼특가!
(190)
과학/우주 월간 추천 
