本文正在参加「技术视角深入 ChatGPT」征文活动
今年一月，普林斯顿大学的学生Edward Tian发布了一款叫做GPTZero的web应用，这个应用的功能十分简单，就是检测用户输入的一段文字是人类写的还是AI写的。由于正值ChatGPT的爆红，这款应用也随之轰动。其实GPTZero的主要用户群是面向教育工作者，因为AI文本生成能力的大幅度提升，学生们大规模使用ChatGPT这类工具直接生成小论文或报告的现象越来越普遍，作为老师和教授，急需一款这样的“对抗”工具来识别这种新时代的“抄袭”行为。
以上仅是背景，我的观点其实和大名鼎鼎的Andrew Ng大佬不谋而合…
言归正传，如果想要体验GPTZero，可以访问其官网，无需注册：
不过这个工具跟我们关系不大，目前它不支持中文。中文圈同样面临这个问题，除了学生用AI做作业，各个知识平台，自媒体平台也充斥着大量的AI生成内容，一直没有有效控制，水文漫天。
近期，ChatGPT所属的OpenAI公司自己发布了叫做AI Text Classifier的免费工具，和GPTZero同样的功能。从OpenAI的描述中，我感觉到了其和GPTZero不同的实现方式，GPTZero看起来是对英语词汇和语法的使用随机性上进行了检测，而AI Text Classifier是通过GPT模型来训练预测。经过简单测试，我发现它是能够对中文进行检测的，基于严谨的态度，我还做了进一步的测试，来看看目前这个服务是否可靠。
1. 局限
首先官网给出了关于这个工具的定义：
AI Text Classifier是一个经过微调的 GPT 模型，可以预测一段文本由 AI （例如 ChatGPT）生成的可能性。该工具可免费使用，主要是为了激发对AI读写能力的讨论。
AI Text Classifier强调了目前自身的局限性：
- 至少需要 1,000 个字符，即大约 150 – 250 个单词。
- 并不总是准确的。
- 用户可以轻松编辑 AI 生成的文本以避开Classifier的判断。
- 工具可能会在儿童书写的文本和非英语文本上出错，因为它主要是针对成人书写的英语内容进行训练的。
怎么听上去没什么用…继续…
2. 分类
对于评判结果，AI Text Classifier给出了如下五种分类及定义：
- “Very unlikely to be AI-generated” – 非常不可能是AI生成的文本，对应于 <0.1 的阈值。 在我们的测试集中，大约 5% 的人工书写文本和 2% 的人工智能生成的文本带有此标签。
- “Unlikely to be AI-generated” – 不太可能是AI生成的文本，对应于 0.1 到 0.45 之间的阈值。 在我们的测试集中，大约 15% 的人工编写文本和 10% 的人工智能生成的文本带有此标签。
- “Unclear if it is AI written”– 不清楚是不是AI生成的文本，对应的阈值在0.45到0.9之间。 在我们的测试集中，大约 50% 的人工编写的文本和 34% 的人工智能生成的文本都有这个标签。
- “Possibly AI-generated” – 可能是 AI 生成的文本，对应于 0.9 到 0.98 之间的阈值。 在我们的测试集中，大约 21% 的人工编写的文本和 28% 的人工智能生成的文本都有这个标签。
- “Likely AI-generated” – 很可能由 AI 生成的文本，对应于 >0.98 的阈值。 在我们的测试集中，大约 9% 的人工编写的文本和 26% 的人工智能生成的文本都有这个标签。
听上去也不是很有信心的亚子…
3. 测试人工生成的文本
接下来让我们来测试一下它的性能吧，首先贴一下我写的某篇文章中的一段内容：
千万别买课，用这些AI工具就能瞬间提高你的写作水平！
结果如下：
这个基本准确了，再来测试另一个文章：
如今有了ChatGPT，我们该如何开始学习编程？
结果如下：
这个结果，嗯，怪不得有评论说我这篇是ChatGPT生成的…
4. 测试ChatGPT生成的文章
首先让ChatGPT生成一段文字：
贴入AI Text Classifier，得出结果：
结果符合预期，这个工具还是成功识别出这段文字是AI生成的。
但是！重点来了
就如同OpenAI自己描述的那样，这个检测器是可以被干扰的，我尝试了一下，看看下面我给ChatGPT的指令方式：
我在Prompt的关键字里强调了文字描述风格，生成主题同样的一篇GPT相关介绍文章，然后把这段文字贴到Classifier里，得到的结果是无法鉴别：
看起来面对带有一些指定风格和语气而生成的AI文本，Classifier目前还比较难能够鉴别。这只是我随手尝试的一种方法，当然还有其他方法可以干扰AI Text Classifier，这里只是让大家看到这个工具目前的性能限制，并没有鼓励大家以规避的方式继续在学业或工作中照搬AI生成的内容，就如我其他文章中所写的，AI在写作上的最大作用是帮助我们整理思考逻辑，提供有用的背景材料，或是改善语言的描述方式，真正的好文章是不能没有作者自己的独立思考内容的。
总体来说，这个OpenAI出品的文本鉴别工具，简单测试下来对中文还是有了一定的把握了，至少作为论文，作业及网络文章的初筛还是管用的，当然也有不少规避和扰乱它判断的方法，这里就不再细述更多了。
