| 사진설명: “프로필 사진과 참고문헌을 직접 대조해 보는 순간”
100% human-written, no AI” badge prominently displayed, while the other hand holds a printed research paper page marked with a highlighter, the phone and paper meeting at frame center in sharp focus against a plain uncluttered surface., centered close-up hero” | 사진설명: “AI가 만들어낸 연구자 얼굴을 손에 들고 살펴보는 순간”
제 손으로 쓴 문단을 AI 검출기 세 곳에 넣어본 적이 있어요. 결과가 갈렸습니다. 한 곳은 사람, 한 곳은 “AI 가능성 높음”, 나머지 한 곳은 애매하다고 나왔고요.
그때 마음을 접었습니다. 텍스트만 보고 “이거 AI가 썼나요”를 가리는 일은 증거로 쓰기 어렵습니다. AI 안 썼다는 주장을 검증하려면 문장이 아니라 사람과 과정을 확인하는 쪽이 훨씬 정확해요. 2026년 8월 11일 404 Media가 보도한 Research Gold 사건도 문체가 아니라 사람 쪽에서 무너졌습니다.
한눈에 보기
- OpenAI는 자사 AI 검출기가 AI 글의 26%만 맞히고 사람 글의 9%를 AI로 오판하자 2023년 7월 20일 서비스를 내렸습니다. 텍스트 판별의 현실적인 수준이 그 정도예요.
- Research Gold는 문체 분석이 아니라 사람의 실재 여부에서 들통났습니다. 팀원 8명의 프로필 사진이 AI 생성물이었고, 실존 연구자 이름이 동의 없이 올라가 있었어요.
- 실제로 검증되는 건 세 가지입니다. 사람의 정체성, 출판 이력, 작업 과정 기록.
사건 정리 — 전화 응대까지 AI였던 의료 연구 대행사
Research Gold는 의학 논문 작성, 체계적 문헌고찰, 메타분석을 대신 해주는 서비스를 팔면서 “100% human-written, never AI”를 내걸었어요. 404 Media 기자가 받은 견적은 체계적 문헌고찰 한 건에 1,900달러. 적은 돈이 아니죠.
무너진 순서가 흥미롭습니다. 문장을 뜯어봐서가 아니라, 홈페이지에 걸린 사람들부터 이상했어요. 창립자 겸 대표 방법론자로 소개된 ‘Dr. Elena Vasquez’, 스코핑 리뷰 전문가라는 ‘Dr. Mei-Lin Chen’을 포함해 팀원 8명의 프로필 사진이 AI 생성 이미지였고, 그 이름에 맞는 출판 기록이 없었습니다.
반대로 방법론자 명단에 오른 일부는 실존 인물이었어요. 다만 본인들이 그 사실을 몰랐습니다. 증거합성 연구자 Jenny Berrio는 이렇게 말했어요. “I do not work for Research Gold, and I never agreed to be listed as one of their methodologists. They are using my name, photo, and bio without my permission.” 링크드인 프로필을 통째로 베껴 쓴 겁니다.
압권은 전화였습니다. 기자가 전화를 걸자 ‘Sarah’라는 응대자가 받았고, AI냐고 묻자 “Yep, I’m a real person”이라고 답했어요. 회사 측은 “all human expertise, all the way through”라고 했고요. 이메일과 채팅 응대도 AI였습니다. 부인하는 행위 자체가 증거가 된 셈이에요.
검출기의 한계 — 숫자로 보면 더 분명합니다
AI 검출기 점수를 근거로 누군가를 고발하는 건 위험합니다. 근거가 세 갈래로 있어요.
첫째, OpenAI가 직접 접었습니다. 2023년 1월에 내놓은 AI Text Classifier는 반년을 못 버티고 7월 20일 중단됐어요. 자체 평가에서 AI 글을 “likely AI-written”으로 맞힌 비율이 26%, 사람 글을 AI로 잘못 찍은 비율이 9%였습니다. 만든 쪽이 못 하겠다고 손을 든 일입니다.
둘째, 검출기는 ‘기계다움’이 아니라 ‘단순한 문장’을 처벌합니다. 스탠퍼드 Weixin Liang 연구팀이 검출기 7종에 사람이 쓴 TOEFL 에세이 91편을 넣었더니 평균 위양성률이 61.22%로 나왔어요. 97.80%는 최소 한 곳 이상에서 AI로 찍혔고, 19.78%는 7종 전부가 만장일치로 AI라고 했습니다. 그런데 같은 글을 ChatGPT로 “원어민처럼 어휘를 다듬어” 고쳐 쓰자 오탐률이 11.77%로 떨어졌어요. 화려하게 쓸수록 사람으로 인정받는 구조인 겁니다.
셋째, 사람 눈은 더 못합니다. 2025년 11월 Advances in Simulation에 실린 실험에서, 훈련된 심사자 5명이 의료 시뮬레이션 논문 서론 30편을 놓고 낸 판별 정확도는 19%였어요. 5지선다라 찍어도 20%가 나오는 조건이었습니다. 사람 글을 사람 글로 맞힌 비율이 17%, 순수 AI 생성물을 잡아낸 비율은 10%였고요.
| 판별 주체 | 정확도·오탐 | 남는 문제 |
|---|---|---|
| OpenAI AI Text Classifier (2023) | AI 글 26% 적중 / 사람 글 9% 오탐 | 6개월 만에 서비스 중단 |
| 검출기 7종 (TOEFL 91편) | 위양성 61.22% → 어휘 손보면 11.77% | 비원어민·간결한 문장에 불리 |
| 사람 심사자 5명 (논문 30편) | 정확도 19% | 우연 기대값 20%에도 못 미침 |
같은 실험에서 도구들은 사람보다는 나았어요. 100% 사람 글은 1.6~6.5%, 순수 AI 생성물은 50.0~92.5%로 구간이 확실히 갈렸거든요. 문제는 그 사이입니다. 사람이 AI 초안을 많이 손본 글은 11.5~45.1%로 넓게 퍼졌고, 도구 간 일치도(ICC)도 0.57~0.96으로 들쭉날쭉했습니다. 실무에서 다투는 건 대부분 이 회색지대라, 점수 하나로 결론 내기가 어려워요.
실제로 검증되는 신호 다섯 가지
Research Gold를 무너뜨린 방법이 곧 답입니다. 전부 문장 밖에 있어요.
- 사람의 실재 확인: 이름 + 소속 + 출판 기록을 교차 조회해 보세요. PubMed, ORCID, 구글 스칼라에서 이력이 안 나오는 ‘박사 8명’은 그 자체가 신호예요.
- 프로필 사진 역검색: 구글 이미지나 틴아이로 돌려 보고, 귀·손가락·안경다리·배경 글자가 뭉개졌는지 봅니다. 원본이 어디에도 없는 인물 사진은 의심해 볼 만해요.
- 예정에 없던 질문: 화상 통화를 요청하거나, 견적서에 없던 세부를 즉석에서 물어보세요. 기자가 전화 한 통으로 확인한 방식이 이겁니다.
- 과정 기록 요구: 초안 버전 히스토리, 문서 편집 이력, 검색 전략(데이터베이스·검색식·검색일), 스크리닝 로그를 달라고 해 보세요. 결과물은 흉내 낼 수 있어도 과정 로그는 만들기가 훨씬 번거롭습니다.
- 계약 조항: “AI 미사용”을 홍보 문구가 아니라 진술·보증 조항으로 넣고, 위반 시 환불·해지 근거를 두는 편이 안전해요.
참고문헌 확인 — 의료 분야에서 제일 먼저 볼 자리
의료 연구 대행에서 AI 대필이 드러나는 지점은 문체가 아니라 인용입니다. 404 Media 기사에서 박사과정 연구자 Sebastian Rowan도 AI의 근본 문제로 환각(hallucination)을 지목했어요. 전문 도구를 써도 남는 문제라고 봤고요.
절차는 단순해요. 참고문헌에서 서너 개를 무작위로 뽑아 DOI를 직접 열고, 저자·연도·저널이 일치하는지 봅니다. 그다음 본문이 인용한 문장이 원문에 실제로 있는지 확인해요. 검출기와 달리 이쪽은 위양성이 없습니다. 논문은 있거나 없거나 둘 중 하나니까요.
표시 의무 제도 — 2026년 8월 기준
제도는 빠르게 정비되는 중이에요. 다만 겨냥하는 방향이 다릅니다.
EU AI법 제50조 투명성 의무가 2026년 8월 2일부터 적용됐습니다. 사람이 AI와 직접 상호작용할 때 알려야 하고, AI 생성 콘텐츠에는 표시가 필요해요. 위반하면 최대 1,500만 유로 또는 전 세계 연매출 3% 중 높은 금액이 부과될 수 있습니다. 유럽 집행위원회 가이드라인은 2026년 7월 20일 채택됐고요.
한국은 인공지능 기본법이 2026년 1월 22일 시행됐습니다. 생성형 AI 기반 서비스라는 사실을 사전에 알리고 결과물에 표시하도록 했고, 위반 시 최대 3,000만 원 과태료가 규정돼 있어요. 다만 과학기술정보통신부가 최소 1년 이상 계도기간을 두기로 해, 실제 과태료 부과는 2027년 이후가 될 가능성이 큽니다.
짚고 갈 부분이 있어요. 표시 의무는 AI를 썼다고 밝히는 쪽을 규율합니다. “안 썼다”는 거짓말을 잡아내는 법이 아니에요. Research Gold 같은 사례는 AI 표시법보다 표시광고법·사기 쪽에 가깝습니다. 제도가 생겼으니 알아서 걸러지겠다는 기대는 조금 이른 것 같아요.
부인은 검증이 아니에요. “저 사람 맞아요”라는 말은, 그 말을 한 주체가 사람일 때만 의미가 있습니다.
발주 전 체크리스트
돈을 넘기기 전에 이 순서로 확인해 보면 마음이 한결 편해요.
- 담당자 실명과 소속을 검색합니다. 링크드인 계정 개설 시점까지 보면 좋아요.
- 프로필 사진을 이미지 역검색합니다.
- 최근 3년 출판 기록을 요청합니다. 없으면 이유를 물어봅니다.
- 화상 통화를 15분만 잡아 봅니다. 계속 텍스트로만 미룬다면 그것도 답이에요.
- 초안 버전 히스토리와 검색 전략 로그를 산출물에 포함해 달라고 계약 전에 말해 둡니다.
- 참고문헌 서너 개를 DOI로 직접 열어 대조합니다.
- AI 미사용 진술·보증 조항과 위반 시 환불 조항을 넣습니다.
- 결제는 계약금·중도금·잔금으로 나눕니다.
- AI 검출기 점수는 맨 마지막에 참고만 합니다. 위양성 61.22%, 사람 정확도 19%짜리 지표를 1번에 두면 곤란해요.
솔직히 이 목록이 번거롭다는 것도 압니다. 저도 매번 다 하지는 못해요. 그래도 1,900달러가 걸린 일이라면 1번부터 4번까지만 밟아도 Research Gold는 걸러졌을 겁니다.
여러분이라면 “AI 안 썼습니다”라는 말을 들었을 때, 무엇부터 확인해 보시겠어요?
참고한 자료
– 404 Media, Company Offering ‘100% Human-Written, Never AI’ Medical Research Is Entirely AI (2026-08-11, Emanuel Maiberg)
– Liang et al., GPT detectors are biased against non-native English writers, Patterns (2023)
– AI 검출 도구와 사람의 AI 생성물 판별 정확도 비교 연구, Advances in Simulation (2025-11)
– 유럽연합 집행위원회, AI법 제50조 투명성 의무 FAQ