Công cụ phát hiện AI có chính xác không? Chúng nói được và không nói được điều gì

Nếu bạn từng dán chính bài viết của mình vào một công cụ phát hiện AI rồi nhận về kết quả bị gắn cờ là "có khả năng do AI viết", thì bạn đã hiểu câu trả lời trung thực ở đây khá phức tạp. Vậy công cụ phát hiện AI có chính xác không? Không theo cách mọi người vẫn nghĩ. Chúng không phải phép màu, cũng không phải máy phát hiện nói dối. Chúng là những công cụ thống kê ước lượng một xác suất dựa trên các mẫu trong văn bản. Ước lượng đó có thể là một tín hiệu sơ bộ hữu ích, nhưng không phải bằng chứng, và coi nó như bằng chứng chính là nơi phần lớn tác hại bắt đầu.

Đây là phần giải thích dễ hiểu về những gì các công cụ này thực sự đo lường, nơi chúng rõ ràng đưa ra kết luận sai, và vì sao bất cứ lời hứa nào khiến bài viết của bạn "100% không bị phát hiện" đều đang bán một thứ mà nó không thể đảm bảo cung cấp. Chúng tôi xây dựng HumanizeText, và lập trường của chúng tôi cố ý khác với nhóm chuyên "qua mặt". Chúng tôi giúp bạn viết rõ ràng và tự nhiên hơn, cho bạn một tín hiệu về độ dễ đọc trung thực thay vì một phán quyết giả tạo, và chúng tôi không bao giờ hứa hẹn kết quả trước công cụ phát hiện. Nếu một lời tuyên bố nghe quá gọn ghẽ đến mức khó tin, thì thường là vậy, nên hãy cùng nhìn vào bằng chứng.

Công cụ phát hiện AI thực sự hoạt động như thế nào

Hầu hết công cụ phát hiện AI dựa vào hai ý tưởng thống kê cốt lõi: perplexity (độ khó đoán) và burstiness (độ biến thiên). Perplexity đo lường mức độ "bất ngờ" của một mô hình ngôn ngữ trước từ tiếp theo trong chuỗi. Văn bản mà mô hình thấy rất dễ đoán, nơi mỗi từ gần đúng như từ nó sẽ chọn, thường có perplexity thấp, và perplexity thấp được diễn giải là dấu hiệu do máy tạo ra. Ngược lại, văn bản do con người viết thường khó đoán hơn một chút từ chữ này sang chữ khác.

Burstiness mô tả sự biến thiên về cấu trúc và độ dài câu trong một đoạn văn. Người viết thực sự trộn lẫn những câu dài lê thê với những câu ngắn dứt khoát, và họ thay đổi nhịp điệu theo cách khó chuẩn hóa hoàn toàn. Rất nhiều văn bản do AI tạo ra tương đối đồng đều, nên các công cụ săn tìm sự phẳng lặng đó như một dấu vết. Một số công cụ chồng thêm các đặc trưng thống kê khác, và một vài công cụ huấn luyện bộ phân loại trên các ví dụ đã gắn nhãn về văn bản của người và của AI, nhưng logic nền tảng vẫn là đối chiếu mẫu với các phân phối.

Đây là phần quan trọng nhất: phương pháp này tạo ra được gì và không tạo ra được gì. Nó tạo ra một ước lượng xác suất, không phải một sự thật. Một công cụ nói "90% khả năng do AI" không hề tuyên bố nó đã bắt quả tang một cỗ máy. Nó đang nói rằng văn bản này về mặt thống kê giống với văn bản mà nó liên hệ với máy móc. Sự khác biệt đó trở nên cực kỳ lớn ngay khi một điểm số, một công việc, hay một danh tiếng phụ thuộc vào kết quả.

Báo động giả của công cụ phát hiện AI là có thật và được ghi nhận

Điểm yếu nghiêm trọng nhất, được ghi nhận rõ nhất của công cụ phát hiện AI là báo động giả: văn bản thật sự do con người viết lại bị gắn cờ là AI. Đây không phải lời than phiền lẻ tẻ từ vài người dùng kém may mắn. Nó đã được các hãng tin, các nghiên cứu học thuật, cùng các thử nghiệm của nhà giáo dục và nhà báo ghi nhận, và trong nhiều trường hợp, chính các nhà cung cấp cũng thừa nhận công cụ của họ không đủ đáng tin để làm bằng chứng duy nhất về hành vi gian lận.

Vấn đề giáng nặng nhất lên những người viết mà văn phong tình cờ trông "sạch sẽ" hơn về mặt thống kê. Nhiều nghiên cứu và báo cáo phát hiện rằng người viết không phải bản ngữ và người học tiếng Anh (ESL) bị gắn cờ với tỷ lệ chênh lệch cao, bởi vốn từ hạn chế hơn hoặc chuẩn mực hơn có thể biểu hiện thành perplexity thấp, chính là tín hiệu mà công cụ diễn giải là giống máy. Nói thẳng ra, một công cụ có thể trừng phạt ai đó vì viết tiếng Anh cẩn thận, mạch lạc. Học sinh với một số phong cách viết nhất định, các định dạng học thuật theo khuôn mẫu, và văn bản đã được chỉnh sửa kỹ cũng vướng vào những lá cờ giả này.

Có lẽ diễn biến đáng chú ý nhất là sự rút lui khỏi lĩnh vực phát hiện của một số tổ chức gần gũi nhất với công nghệ này. OpenAI đã lặng lẽ đóng cửa bộ phân loại văn bản AI của chính mình, viện dẫn độ chính xác thấp, và các nhà cung cấp công nghệ giáo dục lớn đã công khai cảnh báo rằng điểm phát hiện nên được coi là một dữ liệu trong số nhiều dữ liệu chứ không phải một phán quyết, với con người là người ra quyết định cuối cùng. Khi những người xây dựng chính các mô hình còn dè dặt đến vậy, rõ ràng sự chắc chắn không nằm trên bàn, và bất cứ ai tuyên bố ngược lại đều đang nói quá.

Vì sao "100% không bị phát hiện" là ảo tưởng

Cả một nhóm công cụ tự quảng bá bằng một lời hứa duy nhất: chạy văn bản của bạn qua chúng tôi rồi nó sẽ "100% không bị phát hiện" hoặc "đảm bảo vượt qua" bất kỳ công cụ phát hiện AI nào. Hãy gác đạo đức sang một bên một giây và chỉ nhìn vào cơ chế, bởi lời hứa đó về bản chất không thể giữ được. Việc phát hiện là một mục tiêu di động. Các công cụ phát hiện cập nhật mô hình, bổ sung tín hiệu mới, và tái huấn luyện thường xuyên. Một mánh khóe đánh lừa được công cụ tháng này có thể bị bắt vào tháng sau, nên bất kỳ lời hứa kiểu đó thực chất là lời hứa về một khoảnh khắc trong thời gian mà đã hết hạn từ trước.

Đây là một cuộc chạy đua vũ trang kinh điển. Một bên học cách đánh bại các công cụ phát hiện hiện tại; các công cụ phát hiện thích nghi để bắt các mẫu đó; bên đầu tiên lại cuống cuồng xoay xở. Không một bên nào kiểm soát được cả hai đầu, nghĩa là không một bên nào có thể trung thực hứa hẹn kết quả. Khi một nhà cung cấp nói "đảm bảo", họ đang mô tả một điều ước, chứ không phải một cơ chế họ nắm trong tay. Và các chiến thuật dùng để ép ra điểm thấp, như chèn ký tự vô hình, thay thế bằng những từ đồng nghĩa vụng về, hay làm rối cú pháp, thường khiến bài viết tệ hơn, điều mà một người đọc cẩn thận sẽ nhận ra ngay cả khi công cụ nhất thời không thấy.

Kết quả có thể đoán trước là một vấn đề về niềm tin. Các công cụ dựng trên chiêu bài "không bị phát hiện" thường chồng chất tranh chấp hoàn tiền, khiếu nại đòi lại tiền, và những đánh giá giận dữ ngay lần đầu tiên khách hàng bị gắn cờ sau khi được bảo là họ an toàn. Một lời hứa bạn không thể kiểm soát là một trách nhiệm pháp lý mà bạn đã trao cho người dùng của mình, và nó sụp đổ ngay khi thực tế trệch khỏi lời quảng cáo. Đó chính là cái bẫy mà chúng tôi thiết kế HumanizeText để tránh xa.

Lập trường trung thực của HumanizeText

Mục tiêu của chúng tôi không phải là đánh bại các công cụ phát hiện. Đó là làm cho bài viết của bạn thực sự rõ ràng hơn, tự nhiên hơn, và dễ đọc hơn. Đó là mục tiêu chúng tôi thực sự có thể đạt được, và tình cờ nó cũng là điều mà người đọc, và ở một mức độ nào đó cả các công cụ phát hiện, phản hồi tích cực, bởi văn xuôi tự nhiên của con người mang trong mình sự biến thiên và tính cụ thể mà đầu ra máy móc phẳng lặng thiếu vắng. Chúng tôi tối ưu cho kết quả thật sự: bài viết nghe như do một con người viết ra bởi vì một con người đã chăm chút nó.

Chúng tôi có cung cấp một công cụ phát hiện, nhưng chúng tôi cẩn trọng về điều nó tự nhận là gì. Nó chạy phía trình duyệt (client-side) và cho bạn một cái nhìn mang tính định hướng, thiên về độ dễ đọc, chứ không phải một phán quyết. Hãy xem nó như một tấm gương cho thấy chỗ nào bài viết của bạn cứng nhắc, lặp lại, hoặc đồng đều một cách không tự nhiên, để bạn sửa. Chúng tôi cố ý không trình bày nó như một thẩm quyền chứng nhận văn bản của bạn là "của con người" hay "an toàn", bởi không công cụ phát hiện nào, kể cả của chúng tôi, có thể trung thực chứng nhận điều đó.

Vậy đây là lời hứa của chúng tôi, và quan trọng không kém, điều chúng tôi sẽ không bao giờ hứa. Chúng tôi sẽ giúp bạn tạo ra bài viết rõ ràng hơn, tự nhiên hơn. Chúng tôi sẽ cho bạn một tín hiệu trung thực để làm việc cùng. Chúng tôi sẽ không hứa một kết quả cụ thể trước công cụ phát hiện, chúng tôi sẽ không dùng những từ "đánh bại", "qua mặt", hay "không bị phát hiện", và chúng tôi sẽ luôn khuyên bạn tự rà soát lại bài của mình và tuân thủ quy định của trường học hoặc nơi làm việc. Nếu tổ chức của bạn cấm dùng AI hỗ trợ, không công cụ nào thay đổi được nghĩa vụ đó, và chúng tôi thà nói thẳng với bạn còn hơn bán cho bạn một cảm giác an toàn giả tạo.

Cách dùng công cụ phát hiện AI một cách khôn ngoan

Nếu bạn là người viết, hãy coi bất kỳ điểm số nào từ công cụ phát hiện là một tín hiệu yếu, mang tính định hướng, chứ không phải một phán quyết về sự chính trực của bạn. Kết quả "AI" cao trên chính tác phẩm thật của bạn là một dạng lỗi đã được biết đến, không phải bằng chứng bạn đã làm điều gì sai. Hãy dùng điểm số đó để thôi thúc mình đọc lại một lượt: bài viết của bạn có phẳng lặng, lặp lại, hay quá đồng đều không? Nếu vậy, chỉnh sửa cho rõ ràng và có nhịp điệu tự nhiên trước hết giúp người đọc của bạn, và nó cũng thường nhích tín hiệu theo hướng đúng, vì lý do đúng đắn.

Nếu bạn là nhà giáo dục hay người rà soát, sự đồng thuận có trách nhiệm, được các nhà cung cấp lớn nhấn mạnh, là điểm số của công cụ phát hiện không bao giờ nên là cơ sở duy nhất cho một lời buộc tội. Báo động giả đã được ghi nhận và chúng tập trung vào những người viết dễ tổn thương, nên một con số trên màn hình không phải là quy trình công bằng. Hãy ghép mọi tín hiệu với bối cảnh mà bạn thực sự có: lịch sử bản nháp, giọng văn quen thuộc của học sinh, một cuộc trò chuyện, một mẫu viết trực tiếp tại chỗ. Cái giá của một lời buộc tội sai là rất cao, và nó giáng xuống một con người thật.

Với tất cả mọi người, chiến lược bền vững là chiến lược nhàm chán. Viết rõ ràng, chỉnh sửa trung thực, giữ lại bản nháp, và nắm rõ các quy định áp dụng cho bạn. Công cụ có thể giúp về độ rõ ràng và bắt được thứ văn xuôi cứng nhắc, phẳng lặng như máy, và đó là giá trị thực sự. Điều không công cụ nào có thể chào mời một cách có trách nhiệm là một lời hứa về việc một công cụ phát hiện luôn thay đổi sẽ đọc văn bản của bạn ra sao vào ngày mai. Ai đó chào mời điều đó là đang hứa một thứ họ không kiểm soát.

Câu hỏi thường gặp