AI 감지기는 정확할까? 알 수 있는 것과 알 수 없는 것

직접 쓴 글을 AI 감지기에 붙여 넣었는데 '아마도 AI'라고 표시되는 걸 본 적이 있다면, 솔직한 답이 그리 단순하지 않다는 걸 이미 아실 겁니다. 그렇다면 AI 감지기는 정확할까요? 사람들이 흔히 생각하는 방식으로는 아닙니다. 마법도 아니고, 거짓말 탐지기도 아닙니다. 감지기는 텍스트의 패턴에서 확률을 추정하는 통계 도구입니다. 그 추정값은 대략적인 참고 신호로는 유용할 수 있지만 증거는 아니며, 그것을 증거처럼 다루는 데서 대부분의 피해가 시작됩니다.

이 글은 이런 도구들이 실제로 무엇을 측정하는지, 어디서 명백히 틀리는지, 그리고 당신의 글을 '100% 감지 불가'로 만들어 준다고 약속하는 것들이 왜 안정적으로 지킬 수 없는 것을 팔고 있는지 쉽게 짚어 봅니다. 우리는 HumanizeText를 만들며, 우리의 입장은 우회(bypass)를 내세우는 무리와 의도적으로 다릅니다. 우리는 당신이 더 명료하고 자연스럽게 쓰도록 돕고, 가짜 판정 대신 솔직한 가독성 신호를 제공하며, 감지 결과를 결코 약속하지 않습니다. 어떤 주장이 사실이라기엔 지나치게 깔끔하게 들린다면 대개 그렇지 않은 법이니, 근거를 함께 살펴봅시다.

AI 감지기는 실제로 어떻게 작동하는가

대부분의 AI 감지기는 두 가지 핵심 통계 개념에 기댑니다. 바로 퍼플렉시티(perplexity)와 버스티니스(burstiness)입니다. 퍼플렉시티는 언어 모델이 다음 단어에 얼마나 '놀라는지'를 측정합니다. 모델이 매우 예측 가능하다고 보는 텍스트, 즉 각 단어가 모델이 골랐을 법한 것과 거의 일치하는 텍스트는 낮은 퍼플렉시티로 채점되는 경향이 있고, 낮은 퍼플렉시티는 기계 생성의 신호로 읽힙니다. 반면 사람이 쓴 글은 단어와 단어 사이가 조금 덜 예측 가능한 편입니다.

버스티니스는 한 단락 안에서 문장 구조와 길이가 얼마나 변화하는지를 설명합니다. 실제 작가는 길고 구불구불한 문장과 짧고 강렬한 문장을 섞고, 완전히 표준화하기 어려운 방식으로 리듬을 변주합니다. 많은 AI 생성 텍스트는 상대적으로 균일해서, 감지기는 그 밋밋함을 단서로 찾습니다. 어떤 도구는 다른 통계적 특징을 더 얹기도 하고, 일부는 사람과 AI 텍스트의 라벨링된 예시로 분류기를 학습시키기도 하지만, 근본 논리는 여전히 분포에 대한 패턴 매칭입니다.

가장 중요한 부분은 이것입니다. 이 방식이 만들어 낼 수 있는 것과 없는 것 말입니다. 이 방식이 만들어 내는 것은 사실이 아니라 확률 추정값입니다. 감지기가 'AI일 확률 90%'라고 말하는 것은 기계를 현장에서 잡았다고 주장하는 게 아닙니다. 이 텍스트가 통계적으로 기계와 연관된 텍스트를 닮았다고 말하는 것뿐입니다. 성적, 일자리, 평판이 그 결과에 걸리는 순간 이 구분은 엄청나게 커집니다.

AI 감지기 오탐은 실제로 존재하며 기록으로 남아 있다

AI 감지기의 가장 심각하고 가장 잘 기록된 약점은 오탐(false positive)입니다. 진짜 사람이 쓴 글이 AI로 표시되는 것이죠. 이것은 운 나쁜 몇몇 사용자의 변두리 불평이 아닙니다. 언론 보도, 학술 연구, 그리고 교육자와 기자들의 테스트에서 두루 보고되었고, 여러 경우에는 업체 스스로도 자사 도구가 부정행위의 유일한 증거로 삼을 만큼 신뢰할 수는 없다고 인정했습니다.

이 문제는 글이 통계적으로 유독 '깔끔해' 보이는 작가에게 가장 무겁게 떨어집니다. 여러 연구와 보고서에서 비원어민과 ESL(영어를 제2언어로 쓰는) 작가가 불균형하게 많이 표시된다는 사실이 밝혀졌습니다. 더 제한적이거나 더 표준화된 어휘가 낮은 퍼플렉시티로 나타날 수 있는데, 그것이 바로 감지기가 기계적이라고 읽는 그 신호이기 때문입니다. 노골적으로 말하면, 감지기는 신중하고 담백한 영어를 썼다는 이유로 누군가에게 불이익을 줄 수 있습니다. 특정 문체를 가진 학생, 정형화된 학술 형식, 많이 다듬은 텍스트도 이런 오탐에 걸려들었습니다.

어쩌면 가장 시사적인 흐름은, 이 기술에 가장 가까운 몇몇 조직들이 감지에서 발을 빼고 있다는 점입니다. OpenAI는 낮은 정확도를 이유로 자사의 AI 텍스트 분류기를 조용히 폐쇄했고, 주요 교육 기술 제공사들은 감지 점수를 판정이 아니라 여러 데이터 중 하나로 다루어야 하며 최종 판단은 사람이 내려야 한다고 공개적으로 주의를 당부했습니다. 모델을 만드는 사람들이 이 정도로 강하게 유보적일 때, 확실성이란 분명 논외이며, 그렇지 않다고 주장하는 사람은 지나친 것입니다.

'100% 감지 불가'가 근거 없는 통념인 이유

도구의 한 부류 전체가 단 하나의 약속으로 자신을 홍보합니다. 우리를 거치면 당신의 텍스트가 어떤 AI 감지기에도 '100% 감지 불가'가 되거나 '통과가 보장'된다는 것이죠. 윤리 문제는 잠시 제쳐 두고 작동 원리만 봐도, 그 약속은 구조적으로 지킬 수 없습니다. 감지는 움직이는 표적입니다. 감지기는 모델을 업데이트하고, 새 신호를 추가하며, 정기적으로 재학습합니다. 이번 달에 감지기를 속인 수법이 다음 달엔 잡힐 수 있으니, 그런 약속은 사실 이미 만료된 특정 시점의 스냅샷에 대한 약속일 뿐입니다.

이것은 전형적인 군비 경쟁입니다. 한쪽은 현재의 감지기를 무력화하는 법을 익히고, 감지기는 그 패턴을 잡도록 적응하며, 처음의 쪽은 다시 허둥지둥 매달립니다. 어느 한쪽도 양 끝을 모두 통제하지 못하며, 이는 어느 한쪽도 그 결과를 정직하게 약속할 수 없다는 뜻입니다. 업체가 '보장'이라고 말할 때, 그들은 자신이 마음대로 다루는 메커니즘이 아니라 소망을 묘사하고 있는 것입니다. 그리고 점수를 억지로 낮추려고 쓰는 수법들, 이를테면 보이지 않는 문자를 삽입하거나 어색한 동의어로 바꿔치기하거나 문장 구조를 뒤죽박죽으로 만드는 것들은 글을 더 나쁘게 만드는 경우가 많고, 감지기가 잠깐 눈치채지 못하더라도 주의 깊은 사람 독자는 알아챕니다.

예측 가능한 결과는 신뢰 문제입니다. '감지 불가'라는 홍보에 기댄 도구들은, 고객이 안전하다고 들었다가 처음으로 표시되는 순간 환불 분쟁, 지불 거절(chargeback), 성난 후기가 쌓이는 경향이 있습니다. 통제할 수 없는 약속은 당신이 사용자에게 떠넘긴 책임이며, 현실이 마케팅과 어긋나는 순간 무너집니다. 바로 그 함정에 빠지지 않도록 우리가 HumanizeText를 설계했습니다.

HumanizeText의 솔직한 입장

우리의 목표는 감지기를 무력화하는 것이 아닙니다. 당신의 글을 진짜로 더 명료하고, 더 자연스럽고, 더 읽기 좋게 만드는 것입니다. 그것은 우리가 실제로 도달할 수 있는 표적이며, 마침 사람 독자가, 그리고 어느 정도는 감지기도 잘 반응하는 지점이기도 합니다. 자연스러운 사람의 글에는 밋밋한 기계 출력에 없는 변주와 구체성이 담겨 있기 때문입니다. 우리는 진짜 결과를 위해 최적화합니다. 사람이 쓴 것처럼 들리는 글을요. 실제로 사람이 다듬었기 때문입니다.

우리는 감지기를 출시하긴 하지만, 그것이 무엇이라고 주장하는지에 대해서는 신중합니다. 이 감지기는 클라이언트 측(client-side)에서 작동하며, 판정이 아니라 방향을 알려 주는 가독성 중심의 읽기를 제공합니다. 당신의 글이 어디서 뻣뻣하거나 반복적이거나 부자연스럽게 균일한지 보여 주어 고칠 수 있게 하는 거울이라고 생각하세요. 우리는 이것을 당신의 텍스트가 '사람'이거나 '안전'하다고 인증하는 권위자로 제시하지 않습니다. 우리 것을 포함해 어떤 감지기도 그것을 정직하게 인증할 수 없기 때문입니다.

그래서 이것이 우리의 약속이며, 그만큼 중요한 것은 우리가 결코 약속하지 않을 것입니다. 우리는 당신이 더 명료하고 자연스러운 글을 만들도록 돕겠습니다. 함께 다룰 솔직한 신호를 드리겠습니다. 우리는 특정 감지 결과를 약속하지 않으며, '이기다', '우회하다', '감지 불가' 같은 말을 쓰지 않고, 언제나 당신에게 스스로 검토하고 학교나 고용주의 규칙을 따르라고 말할 것입니다. 당신의 소속 기관이 AI 지원을 금지한다면 어떤 도구도 그 의무를 바꾸지 못하며, 우리는 거짓된 안전감을 파느니 당신에게 솔직한 편이 낫다고 봅니다.

AI 감지기를 분별 있게 쓰는 법

당신이 작가라면, 어떤 감지 점수든 당신의 진정성에 대한 판정이 아니라 약하고 방향만 알려 주는 신호로 다루세요. 자신이 진짜로 쓴 글에 높은 'AI' 수치가 나오는 것은 알려진 실패 양상이지 잘못을 저질렀다는 증거가 아닙니다. 점수는 다시 한번 읽어 보는 계기로 쓰세요. 내 글이 밋밋하거나, 반복적이거나, 지나치게 균일한가? 그렇다면 명료함과 자연스러운 리듬을 위해 고치는 것이 먼저 독자에게 도움이 되고, 흔히 옳은 이유로 신호도 함께 좋아지게 합니다.

당신이 교육자나 검토자라면, 주요 제공사들도 반복해서 밝히는 책임 있는 합의는 감지 점수가 결코 고발의 유일한 근거가 되어서는 안 된다는 것입니다. 오탐은 기록으로 남아 있고 취약한 작가들에게 몰리므로, 화면에 뜬 숫자 하나는 적법 절차가 아닙니다. 어떤 신호든 실제로 확보한 맥락과 짝지으세요. 초안 이력, 학생이 평소 드러내는 목소리, 대화, 대면 글쓰기 표본 같은 것들 말입니다. 잘못된 고발의 대가는 크고, 그것은 실제 한 사람에게 떨어집니다.

모두에게 지속 가능한 전략은 지루한 쪽입니다. 명료하게 쓰고, 정직하게 고치고, 초안을 보관하고, 자신에게 적용되는 규칙을 알아 두세요. 도구는 명료함을 돕고 뻣뻣하고 기계처럼 밋밋한 글을 잡아내는 데 도움이 될 수 있으며, 그것은 진짜 가치입니다. 어떤 도구도 책임 있게 제공할 수 없는 것은, 끊임없이 변하는 감지기가 내일 당신의 텍스트를 어떻게 읽을지에 대한 약속입니다. 그런 것을 제시하는 사람은 자신이 통제하지 못하는 것을 약속하고 있는 것입니다.

자주 묻는 질문