Tumpak ba ang mga AI Detector? Ano ang Kaya at Hindi Nilang Sabihin

Kung na-paste mo na ang sarili mong isinulat sa isang AI detector at nakita mong bumalik itong may markang "malamang AI," alam mo na na ang tapat na sagot dito ay komplikado. Kaya, tumpak ba ang mga AI detector? Hindi sa paraang inaakala ng mga tao. Hindi sila mahika, at hindi sila lie detector. Mga estadistikong kasangkapan sila na tumatantiya ng posibilidad mula sa mga pattern sa teksto. Ang tantiyang iyon ay maaaring maging kapaki-pakinabang na magaspang na senyales, ngunit hindi ito patunay, at dito nagsisimula ang karamihan sa pinsala kapag itinuring itong patunay.

Ito ay isang simpleng paliwanag kung ano talaga ang sinusukat ng mga kasangkapang ito, kung saan malinaw silang nagkakamali, at kung bakit anumang nangangakong gawing "100% undetectable" ang iyong isinulat ay nagbebenta ng isang bagay na hindi nito maaasahang maihahatid. Kami ang gumagawa ng HumanizeText, at sadyang naiiba ang aming paninindigan sa mga nagbebenta ng bypass. Tinutulungan ka naming magsulat nang mas malinaw at mas natural, binibigyan ka namin ng tapat na senyales ng readability sa halip na pekeng hatol, at hinding-hindi kami nangangako ng resulta mula sa detector. Kung ang isang pahayag ay tila masyadong malinis para maging totoo, kadalasan nga ito, kaya tingnan natin ang ebidensiya.

Paano Talaga Gumagana ang mga AI Detector

Karamihan sa mga AI detector ay nakasalalay sa dalawang pangunahing estadistikong ideya: perplexity at burstiness. Sinusukat ng perplexity kung gaano "nagugulat" ang isang language model sa susunod na salita sa isang pagkakasunod-sunod. Ang tekstong nakikita ng modelo na labis na madaling hulaan, kung saan ang bawat salita ay halos kung ano ang pipiliin nito, ay may posibilidad na magtala ng mababang perplexity, at ang mababang perplexity ay binabasa bilang senyales ng pagkakabuo ng makina. Ang isinulat ng tao naman ay may posibilidad na medyo hindi gaanong mahulaan sa bawat salita.

Inilalarawan ng burstiness ang pagkakaiba-iba sa istruktura at haba ng pangungusap sa buong bahagi. Ang tunay na mga manunulat ay naghahalo ng mahaba at paikot-ikot na mga pangungusap sa maiikli at matalim, at binabago nila ang ritmo sa mga paraang mahirap ganap na gawing standardisado. Marami sa tekstong ginawa ng AI ay medyo pare-pareho, kaya hinahanap ng mga detector ang gayong lapad bilang palatandaan. May ilang kasangkapan na nagdaragdag ng iba pang estadistikong katangian, at ilan ang nagsasanay ng mga classifier sa mga halimbawang may label ng teksto ng tao at ng AI, ngunit ang saligang lohika ay pattern matching pa rin laban sa mga distribusyon.

Narito ang bahaging pinakamahalaga: kung ano ang kaya at hindi kayang bunga ng pamamaraang ito. Nagbubunga ito ng tantiya ng posibilidad, hindi ng katotohanan. Ang isang detector na nagsasabing "90% na malamang AI" ay hindi nag-aangking nahuli nito ang makina sa akto. Sinasabi nito na ang tekstong ito ay estadistikong kahawig ng tekstong iniuugnay nito sa mga makina. Ang pagkakaibang iyon ay nagiging napakalaki sa sandaling ang isang grado, isang trabaho, o isang reputasyon ay nakasalalay sa resulta.

Totoo at Nakadokumento ang mga False Positive ng AI Detector

Ang pinakamalubha at pinakamahusay na nadokumentong kahinaan ng mga AI detector ay ang false positive: tunay na isinulat ng tao na namamarkahan bilang AI. Hindi ito reklamo lamang ng iilang malas na gumagamit. Naiulat na ito sa mga balita, akademikong pag-aaral, at pagsubok ng mga guro at mamamahayag, at sa ilang pagkakataon ay kinilala mismo ng mga vendor na hindi sapat na maaasahan ang kanilang mga kasangkapan para magsilbing tanging ebidensiya ng kamalian.

Pinakamabigat na tumatama ang problema sa mga manunulat na ang prosa ay estadistikong nagmumukhang mas "malinis." Ilang pag-aaral at ulat ang natuklasang labis na napamamarkahan ang mga hindi katutubong nagsasalita ng Ingles at mga ESL na manunulat, dahil ang mas limitado o mas standardisadong bokabularyo ay maaaring magtala bilang mababang perplexity, ang parehong senyales na binabasa ng mga detector bilang parang-makina. Sa madaling salita, maaaring parusahan ng isang detector ang isang tao dahil sa maingat at diretsong pagsulat ng Ingles. Ang mga estudyanteng may ilang partikular na estilo ng pagsulat, pormulaikong akademikong pormat, at teksto na labis na na-edit ay nahuhuli rin sa mga maling markang ito.

Marahil ang pinakamahalagang pangyayari ay ang pag-atras mula sa detection ng ilan sa mga organisasyong pinakamalapit sa teknolohiya. Tahimik na isinara ng OpenAI ang sarili nitong AI text classifier, na binabanggit ang mababang katumpakan, at hayagang nagbabala ang mga malalaking tagapagbigay ng education-technology na ang mga iskor ng detection ay dapat ituring na isang datos lamang sa marami sa halip na hatol, na may tao ang gumagawa ng huling desisyon. Kapag ang mga taong bumubuo ng mga modelo ay ganito kaingat sa pag-iingat, malinaw na wala sa lamesa ang katiyakan, at sinuman ang mag-angkin ng iba ay lumalampas sa kaya.

Bakit Mito ang "100% Undetectable"

Isang buong kategorya ng mga kasangkapan ang nagbebenta ng sarili sa isang pangako: ipasa mo ang iyong teksto sa amin at ito'y magiging "100% undetectable" o "guaranteed to pass" sa anumang AI detector. Isantabi muna ang etika at tingnan lamang ang mekanika, dahil ang pangako ay estrukturang imposibleng tuparin. Ang detection ay gumagalaw na target. Ina-update ng mga detector ang kanilang mga modelo, nagdaragdag ng mga bagong senyales, at regular na muling nagsasanay. Isang panlilinlang na dumadaya sa detector ngayong buwan ay maaaring mahuli sa susunod na buwan, kaya ang anumang gayong pangako ay talagang pangako tungkol sa isang larawan sa panahon na paso na.

Ito ay isang klasikong arms race. Isang panig ang natututong talunin ang kasalukuyang mga detector; umaangkop ang mga detector para mahuli ang mga pattern na iyon; nagpupumilit muli ang unang panig. Walang iisang partido ang kumukontrol sa magkabilang dulo, na nangangahulugang walang iisang partido ang tapat na makapangangako ng resulta. Kapag sinabi ng isang vendor na "guaranteed," naglalarawan sila ng isang hangarin, hindi ng isang mekanismong nasa ilalim ng kanilang kontrol. At ang mga taktikang ginagamit para pilitin ang mababang iskor, tulad ng pagsingit ng di-nakikitang mga karakter, pagpapalit ng awkward na mga kasingkahulugan, o pagsira sa syntax, ay kadalasang mas pinapasama ang isinulat, na mapapansin ng isang maingat na mambabasang tao kahit hindi ito napapansin ng detector sa sandaling iyon.

Ang inaasahang resulta ay isang problema sa tiwala. Ang mga kasangkapang itinayo sa panindang "undetectable" ay may posibilidad na magtambak ng mga alitan sa refund, chargeback, at galit na mga review sa unang pagkakataong namarkahan ang isang customer matapos sabihan na ligtas sila. Ang isang pangakong hindi mo makokontrol ay isang pananagutang iniabot mo sa iyong mga gumagamit, at gumuguho ito sa sandaling maghiwalay ang realidad sa marketing. Iyan mismo ang bitag na sinadya naming iwasan sa pagdisenyo ng HumanizeText.

Ang Tapat na Paninindigan ng HumanizeText

Ang aming layunin ay hindi ang talunin ang mga detector. Ito ay ang gawing tunay na mas malinaw, mas natural, at mas madaling basahin ang iyong isinulat. Iyon ay isang target na kaya naming abutin, at nagkataong iyon din ang tumutugma nang maayos sa mga mambabasang tao at, sa isang antas, sa mga detector, dahil ang natural na prosa ng tao ay may taglay na pagkakaiba-iba at pagtitiyak na wala sa lapad na resulta ng makina. Ino-optimize namin para sa tunay na resulta: pagsulat na tila isinulat ng isang tao dahil isang tao ang humubog nito.

Naglalabas nga kami ng detector, ngunit maingat kami kung ano ang inaangkin nitong maging. Tumatakbo ito nang client-side at nagbibigay sa iyo ng padirektang, nakatuon-sa-readability na pagbasa, hindi ng hatol. Isipin mo itong isang salamin na nagpapakita kung saan ang iyong isinulat ay matigas, paulit-ulit, o hindi natural na pare-pareho, para maayos mo ito. Sadya naming hindi ito ipinapakita bilang isang awtoridad na nagpapatunay na ang iyong teksto ay "human" o "safe," dahil walang detector, kabilang ang sa amin, ang tapat na makapagpapatunay niyon.

Kaya narito ang aming pangako, at pantay na mahalaga, kung ano ang hinding-hindi namin ipapangako. Tutulungan ka naming makagawa ng mas malinaw at mas natural na isinulat. Bibigyan ka namin ng tapat na senyales na mapagtatrabahuhan. Hindi kami mangangako ng partikular na resulta mula sa detector, hindi namin gagamitin ang mga salitang "beat," "bypass," o "undetectable," at lagi ka naming sasabihang suriin ang sarili mong gawa at sundin ang mga patakaran ng iyong paaralan o employer. Kung ipinagbabawal ng iyong institusyon ang tulong ng AI, walang kasangkapan ang magbabago sa obligasyong iyon, at mas gugustuhin pa naming maging tapat sa iyo kaysa magbenta sa iyo ng pekeng pakiramdam ng kaligtasan.

Paano Gamitin nang Matino ang mga AI Detector

Kung ikaw ay manunulat, ituring ang anumang iskor ng detector bilang mahina at padirektang senyales, hindi bilang hatol sa iyong integridad. Ang mataas na "AI" na pagbasa sa sarili mong tunay na gawa ay isang kilalang paraan ng pagkabigo, hindi ebidensiya na may ginawa kang mali. Gamitin ang iskor para udyukan ang isang muling pagbasa: ang isinulat mo ba ay lapad, paulit-ulit, o labis na pare-pareho? Kung gayon, ang pagrerebisa para sa kalinawan at natural na ritmo ay nakakatulong muna sa iyong mambabasa, at kadalasang natutulak nito ang senyales din, sa tamang dahilan.

Kung ikaw ay guro o tagasuri, ang responsableng pinagkasunduan, na inuulit ng malalaking tagapagbigay, ay hindi dapat kailanman maging tanging batayan ng isang paratang ang iskor ng detector. Nakadokumento ang mga false positive at nagkukumpol ang mga ito sa mga bulnerableng manunulat, kaya ang isang numero sa screen ay hindi due process. Ipares ang anumang senyales sa konteksto na talagang mayroon ka: kasaysayan ng draft, ang kilalang boses ng estudyante, isang usapan, isang harapang sample ng pagsulat. Mataas ang halaga ng maling paratang, at tumatama ito sa isang tunay na tao.

Para sa lahat, ang matibay na estratehiya ay ang nakakabagot. Magsulat nang malinaw, mag-edit nang tapat, itago ang iyong mga draft, at alamin ang mga patakarang angkop sa iyo. Makakatulong ang mga kasangkapan sa kalinawan at sa paghuli ng matigas at parang-makina na prosa, at iyon ay tunay na halaga. Ang hindi kayang responsableng ihandog ng anumang kasangkapan ay isang pangako kung paano babasahin ng isang patuloy na nagbabagong detector ang iyong teksto bukas. Sinuman ang mag-alok niyon ay nangangako ng isang bagay na hindi nila kontrolado.

FAQ