AI検出ツールの精度は本当に高い？分かること・分からないこと

自分で書いた文章をAI検出ツールに貼り付けたら、「AIが書いた可能性が高い」と判定された経験があるなら、この問いへの正直な答えが単純ではないことはもうお分かりでしょう。では、AI検出ツールの精度は本当に高いのでしょうか。多くの人が思っているようには高くありません。魔法でもなければ、嘘発見器でもないのです。これらはテキストのパターンから確率を推定する統計的なツールにすぎません。その推定はおおまかな目安としては役立ちますが、証拠ではありません。そして、証拠として扱ってしまうところから、たいていの害が生まれます。

この記事では、これらのツールが実際に何を測定しているのか、どこで明らかに間違うのか、そして、あなたの文章を「100%検出不可能」にすると約束するものが、なぜ確実には実現できないものを売っているのかを、平易に解説します。私たちはHumanizeTextを開発していますが、その立場は「回避（バイパス）」を売り文句にする人たちとは意図的に異なります。私たちは、あなたがより明快で自然な文章を書けるよう手助けし、偽の判定ではなく正直な読みやすさの目安を提供し、検出結果を決して約束しません。うますぎる話は、たいてい本当ではありません。では、根拠を見ていきましょう。

AI検出ツールは実際どう動いているのか

ほとんどのAI検出ツールは、二つの中核となる統計的な考え方に頼っています。パープレキシティ（perplexity）とバースト性（burstiness）です。パープレキシティは、言語モデルが次に来る単語にどれだけ「驚く」かを測るものです。モデルにとって非常に予測しやすい文章、つまり各単語がモデルなら選びそうなものとほぼ一致する文章は、パープレキシティが低く出やすく、低いパープレキシティは機械生成の兆候として読み取られます。一方、人間の文章は、単語ごとに見ると少し予測しにくい傾向があります。

バースト性は、文章全体にわたる文構造や文の長さのばらつきを表します。本物の書き手は、長く入り組んだ文と短く歯切れのよい文を混ぜ、完全には標準化しにくい形でリズムを変化させます。AIが生成したテキストの多くは比較的均一なので、検出ツールはその平板さを手がかりとして探します。ツールによっては他の統計的な特徴も重ね合わせますし、人間とAIのテキストのラベル付き事例で分類器を訓練するものもありますが、その根底にあるロジックは依然として分布に対するパターンマッチングです。

ここが最も重要な部分です。この手法が生み出せるもの、生み出せないもの、です。生み出せるのは確率の推定であって、事実ではありません。検出ツールが「AIの可能性90%」と言っても、機械の犯行を現行犯で捕らえたと主張しているわけではありません。このテキストは、統計的に見て機械と結びつけているテキストに似ている、と言っているだけなのです。この違いは、その結果に成績や仕事、あるいは評判がかかった瞬間に、途方もなく大きくなります。

AI検出の誤検出（フォールスポジティブ）は現実に存在し、記録されている

AI検出ツールの最も深刻で、最もよく記録されている弱点が、誤検出（フォールスポジティブ）です。つまり、正真正銘の人間の文章がAIと判定されてしまうことです。これは運の悪い一部のユーザーによる周縁的な不満ではありません。報道機関、学術研究、そして教育者やジャーナリストによるテストで報告されており、いくつかのケースでは、提供事業者自身が、自社ツールは不正の唯一の証拠として使えるほど信頼できるものではないと認めています。

この問題は、たまたま統計的に「よりクリーン」に見える文章を書く人に最も強く降りかかります。複数の研究や報告で、非ネイティブや英語を第二言語とする（ESL）書き手が不釣り合いに多く判定されることが分かっています。語彙がより限られていたり、より標準化されていたりすると、それが低いパープレキシティとして記録され、検出ツールが機械的だと読み取るのと同じ兆候になるからです。率直に言えば、検出ツールは、丁寧で分かりやすい英語を書いた人を罰しかねないのです。特定の文体を持つ学生、定型的な学術フォーマット、そして入念に編集されたテキストも、こうした誤判定に巻き込まれています。

おそらく最も物語っているのは、この技術に最も近い組織の一部が検出から手を引いていることです。OpenAIは精度の低さを理由に、自社のAIテキスト分類器をひそかに終了させました。また、主要な教育テクノロジー提供各社は、検出スコアは判定ではなく、多くのデータの中の一つの点として扱い、最終的な判断は人間が下すべきだと公に注意を促しています。モデルを作っている当の人々がこれほど慎重に留保をつけているのなら、確実性が手に入らないのは明らかであり、そうでないと主張する者は行きすぎています。

「100%検出不可能」が幻想である理由

あるカテゴリのツール群は、たった一つの約束を売りにしています。私たちのツールにテキストを通せば、どんなAI検出ツールに対しても「100%検出不可能」または「合格を保証」する、というものです。倫理の話は一旦脇に置いて、仕組みだけを見てみましょう。というのも、この約束は構造的に守ることが不可能だからです。検出は動く標的です。検出ツールはモデルを更新し、新しい兆候を追加し、定期的に再訓練します。今月ある検出ツールを騙せた小細工が、来月には捕まりかねません。ですから、そうした約束はどれも、実際にはすでに期限切れになった、ある時点のスナップショットについての約束にすぎないのです。

これは典型的な軍拡競争です。一方が現行の検出ツールを打ち負かす方法を身につける。検出ツール側がそのパターンを捕らえるよう適応する。最初の一方がまた慌てて対応する。どちらか一方が両端を支配しているわけではありません。つまり、どちらの一方も、その結果を正直に約束することはできないのです。事業者が「保証」と言うとき、それは自分が意のままにできる仕組みではなく、願望を語っているのです。そして、低いスコアを無理やり出すために使われる手口、たとえば不可視文字を挿入したり、不自然な同義語に置き換えたり、構文を崩したりといった手口は、たいてい文章を悪くします。検出ツールが一瞬気づかなくても、注意深い人間の読み手は気づくでしょう。

予測どおりの結果は、信頼の問題です。「検出不可能」という売り文句を土台にしたツールは、安全だと言われたのに顧客が判定されてしまった最初のその瞬間に、返金トラブル、チャージバック、怒りのレビューが積み上がりがちです。自分でコントロールできない約束は、あなたがユーザーに手渡した負債であり、現実がマーケティングと食い違った瞬間に崩れ去ります。それこそが、私たちがHumanizeTextを設計する上で避けようとした、まさにその罠なのです。

HumanizeTextの正直な立場

私たちの目標は、検出ツールを打ち負かすことではありません。あなたの文章を、本当に明快に、より自然に、より読みやすくすることです。それは私たちが実際に到達できる目標であり、しかもたまたま、人間の読み手や、ある程度は検出ツールも好意的に反応するものなのです。というのも、自然な人間の文章は、平板な機械的アウトプットに欠けている変化と具体性を備えているからです。私たちは本物の成果、つまり人が形づくったからこそ人が書いたように聞こえる文章に向けて最適化します。

私たちも確かに検出機能を提供していますが、それが何を主張するものかについては慎重です。それはクライアントサイドで動き、判定ではなく、方向性を示す読みやすさ寄りの目安を返します。あなたの文章がどこで硬く、繰り返しが多く、不自然に均一になっているかを映し出す鏡のようなものだと考えてください。そうすれば直せます。私たちは意図的に、それをあなたのテキストが「人間」だとか「安全」だと保証する権威としては提示しません。なぜなら、私たちのものも含め、どんな検出ツールもそれを正直に保証することはできないからです。

そこで、これが私たちの約束であり、同じくらい大切なこととして、私たちが決して約束しないことです。私たちは、あなたがより明快で自然な文章を作れるよう手助けします。取り組むための正直な目安を提供します。特定の検出結果は約束しません。「打ち負かす」「回避する」「検出不可能」といった言葉は使いません。そして、常にあなた自身の作品を見直し、学校や雇用主のルールに従うようお伝えします。あなたの所属機関がAIの利用を禁じているなら、どんなツールもその義務を変えることはありません。私たちは、偽りの安心感をあなたに売るよりも、正直であることを選びます。

AI検出ツールを賢く使うには

あなたが書き手なら、どんな検出スコアも、あなたの誠実さに対する判定ではなく、弱い方向性の目安として扱ってください。自分自身の本物の作品に高い「AI」判定が出るのは、既知の誤作動モードであって、あなたが何か悪いことをした証拠ではありません。そのスコアは、読み返すきっかけとして使いましょう。あなたの文章は平板で、繰り返しが多く、過度に均一になっていないか。もしそうなら、明快さと自然なリズムのために書き直すことは、まず読み手のためになりますし、正しい理由で目安の数値をよいほうへ動かすことも少なくありません。

あなたが教育者やレビュアーなら、主要な提供各社も繰り返し述べている責任ある共通見解は、検出スコアを告発の唯一の根拠にしては決してならない、というものです。誤検出は記録されており、それは弱い立場の書き手に集中します。ですから、画面上の数値は適正な手続きにはなりません。どんな目安も、あなたが実際に持っている文脈と組み合わせてください。下書きの履歴、その学生の分かっている文体、対話、対面での作文サンプルなどです。誤った告発の代償は大きく、それは実在する一人の人間に降りかかります。

すべての人にとって、長続きする戦略は、退屈なものです。明快に書き、正直に編集し、下書きを取っておき、自分に適用されるルールを知ることです。ツールは、明快さの面でも、硬く機械のように平板な文章を見つける面でも役に立ちます。それは本物の価値です。どんなツールも責任をもって提供できないのは、絶えず変化する検出ツールが明日あなたのテキストをどう読むかについての約束です。それを差し出す者は、自分がコントロールできないものを約束しているのです。

よくある質問