▶ 표절 탐지 서비스, 오류율 4∼9%로 신뢰성 낮아
미국 대학들이 인공지능(AI) 챗봇을 악용한 표절을 방지하기 위해 쓰고 있는 표절 탐지 서비스의 오류율이 높아 실제로는 사람이 직접 쓴 것인데도 표절물이라고 잘못 판정하는 경우가 잦다는 지적이 나온다.
표절했다는 누명을 쓰고 억울한 일을 당할까 봐 대학생들이 과제 작성 전 과정을 영상으로 기록하는 방식으로 자신이 직접 썼다는 증거를 남겨놓는 경우도 늘고 있다.
뉴욕타임스(NYT)는 18일자 지면에 휴스턴-다운타운 대학교 전산학과 학생 리 버럴(23)이 당한 사연을 소개했다.
그는 2학년 초에 가슴이 덜컥 내려앉는 통보를 받았다.
버럴은 작문 과목 최종 성적의 15%를 차지하는 자기소개서 작성 과제에서 교수로부터 'AI 챗봇 표절로 판정됐다'는 통보를 받고 0점 처리를 당했다.
그는 실제로는 AI 챗봇에 과제를 맡긴 적이 없고, 이틀에 걸쳐 직접 글을 썼다.
하지만 학교 측이 표절 여부 판정을 위해 사용하는 '터니틴'(Turnitin) 서비스는 버럴의 글을 AI가 생성한 것으로 판정했다.
다행히도 구글 독스에는 버럴이 글을 작성하고 다듬는 과정들이 단계별, 시간별로 상세히 남아 있었으며, 그는 이런 증거자료를 15페이지짜리 PDF 파일로 만들어 영문학과 학과장에게 보내 누명을 벗고 0점 처리를 취소시킬 수 있었다.
다음번 작문 과목 과제물을 제출할 때 버럴은 자신의 글쓰기 과정 전체에 시간대를 표시해 고속으로 보여주는 93분짜리 유튜브 영상을 제작해 업로드했다.
짜증이 나는 일이긴 했지만 안심하려면 그렇게 해야만 했다고 그는 설명했다.
작년에 실시된 퓨리서치 조사에 따르면 미국의 10대 청소년 중 26%는 학교 과제에 챗GPT를 이용한 적이 있다고 답했다. 이는 그 전 해인 2023년 대비 갑절이다.
AI를 악용한 과제물 표절이나 온라인시험 부정행위가 최근 수년간 급증하면서 학교들은 이를 적발하겠다며 표절 탐지 서비스를 이용하고 있다.
하지만 이런 서비스들의 신뢰성이 높지 않아서 문제다.
메릴랜드대가 최근 12개 AI 표절 탐지 서비스의 정확도를 조사한 결과, 실제로는 인간이 쓴 글을 AI가 생성했다고 잘못 판정하는 비율이 평균 6.8%에 이르렀다.
이 분석 대상에 포함되지 않은 터니틴은 2023년에 자사 서비스의 이런 오류율이 약 4%였다고 발표했다.
오픈AI도 이런 탐지 프로그램을 내놓은 적이 있으나, 정확도가 낮다고 판단하고 6개월 만인 2023년 7월 없애버렸다.
폐지 전 오픈AI의 탐지 프로그램은 AI가 쓴 글을 'AI가 썼을 가능성 높음'으로 판정하는 '진양성'(true positives) 비율이 26%, 인간이 쓴 글을 AI가 썼다고 판정하는 '위양성' 비율이 9%였다.
뉴욕주립 버팔로대에서는 AI 표절 탐지 서비스의 사용을 중단토록 대학 당국에 촉구하는 청원에 1천여명이 서명했다.
서비스의 신뢰성이 낮아 억울한 피해자들이 다수 나오고 있다는 이유에서다.
버팔로대 당국은 이런 청원을 받아들일 뜻이 없다고 밝혔으나, 버클리 캘리포니아대, 밴더빌트대, 조지타운대 등은 신뢰성 문제를 거론하며 터니틴의 AI 표절 탐지 기능을 사용하지 않기로 결정했다.
<연합뉴스>
댓글 안에 당신의 성숙함도 담아 주세요.
'오늘의 한마디'는 기사에 대하여 자신의 생각을 말하고 남의 생각을 들으며 서로 다양한 의견을 나누는 공간입니다. 그러나 간혹 불건전한 내용을 올리시는 분들이 계셔서 건전한 인터넷문화 정착을 위해 아래와 같은 운영원칙을 적용합니다.
자체 모니터링을 통해 아래에 해당하는 내용이 포함된 댓글이 발견되면 예고없이 삭제 조치를 하겠습니다.
불건전한 댓글을 올리거나, 이름에 비속어 및 상대방의 불쾌감을 주는 단어를 사용, 유명인 또는 특정 일반인을 사칭하는 경우 이용에 대한 차단 제재를 받을 수 있습니다. 차단될 경우, 일주일간 댓글을 달수 없게 됩니다.
명예훼손, 개인정보 유출, 욕설 등 법률에 위반되는 댓글은 관계 법령에 의거 민형사상 처벌을 받을 수 있으니 이용에 주의를 부탁드립니다.
Close
x