ChatGPT检测器(Detector)
现阶段可使用的Detector如以下所示，在网页端有5个（3个支持中文），api有3个途径，代码运行成功的有一个。
网页端
| 名称 | 地址 | 特性 |
|---|---|---|
| GPTZero | https://gptzero.me/ | 支持中英文，判定较为严格，有开源代码 |
| OpenAI GPT2 Output Detector | https://openai-openai-detector.hf.space/ | 支持中英文，判定宽松 |
| Hello-SimpleAI ChatGPT Detector | https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling | 支持中英文，判定宽松，有开源代码 |
| Contentatscale AI Content Detector | https://contentatscale.ai/ai-content-detector/ | 仅支持英文，判定较为宽松，最多1500个字符 |
| Writers AI Content Detector | https://writer.com/ai-content-detector/ | 仅支持英文，判定非常严格 |
判别总结
相同文本在不同检测器上的判断完全不同，难以将所有标准做一个统一，随机抽取一定文本进行测试，其表现如下图所示：
中文示例
| 名称 | GPTZero | OpenAI GPT2 Output Detector | Hello-SimpleAI ChatGPT Detector |
|---|---|---|---|
| 1 | entirely by AI | Real 88.39% Fake 11.61% | GLTR 人类 0.99999 PLL 人类 0.51787 |
| 2 | entirely by human | Real 99.43% Fake 0.57% | GLTR 人类 0.99818 PLL 人类 0.51630 |
| 3 | entirely by AI | Real 99.65% Fake 0.35% | GLTR 人类 0.99986 PLL 人类 0.51539 |
| 4 | entirely by AI | Real 99.81% Fake 0.19% | GLTR 人类 0.99337 PLL 人类 0.51751 |
| 5 | entirely by AI | Real 98.55% Fake 1.45% | GLTR 人类 0.95220 PLL 人类 0.51201 |
GLTR=生成文本检测模型，PLL=语言模型困惑度模型
GPTZero的判定相较于OpenAI和Hello-SimpleAI的GLTR的来说更加的偏激，GPTZero开源代码中将Perplexity per line<80的值均认为由ai参与。由于GPTZero v1同样使用PLL，所以可以认为与Hello-SimpleAI的PLL的方法是相同模型
英文示例
| 名称 | GPTZero | OpenAI GPT2 Output Detector | Hello-SimpleAI ChatGPT Detector | Contentatscale AI Content Detector | Writers AI Content Detector |
|---|---|---|---|---|---|
| 1 | likely human | Real 99.85% Fake 0.15% | GLTR Human 0.99999 PLL Human 0.99971 | 59% Human Content Score | 18% HUMAN-GENERATED |
| 2 | entirely by human | Real 44.88% Fake 55.12% | GLTR Human 0.99999 PLL Human 0.99541 | 100% Human Content Score | 24% HUMAN-GENERATED |
| 3 | entirely by human | Real 22.08% Fake 77.92% | GLTR Human 0.99999 PLL Human 0.91835 | 89% Human Content Score | 2% HUMAN-GENERATED |
| 4 | entirely by AI | Real 55.36% Fake 44.64% | GLTR Human 0.99999 PLL Human 1.0 | 95% Human Content Score | 35% HUMAN-GENERATED |
| 5 | parts by AI | Real 95.09% Fake 4.91% | GLTR Human 0.97186 PLL Human 0.50420 | 68% Human Content Score | 7% HUMAN-GENERATED |
API
GPTZero
在注册普通用户情况下，一个小时的最大使用量为150
OpenAI GPT2 Output Detector
对输入的文本有一定的限制，文本过长（len(str)>220~240）将出现503错误，因此需要进行分批处理。
Hello-SimpleAI ChatGPT Detector
代码运行
GPTZero
- 使用Colab运行
- 输入
from model import GPT2PPLV2 as GPT2PPLmodel = GPT2PPL()
# 输入语句
sentence = "your text here"
# 使用模型得出结果
res = model(sentence, 100, "v1.1")
- 输出
# 调整Perplexity per line和Burstiness权重来判断文本是否由人工还是AI生成Perplexity 19 # 文本语句复杂度
Perplexity per line 168.0
Burstiness 304 # 语句最大复杂度
- 优点
- 检测文本无限制：没有api限制可以无限制判别文本
- 判别条件可控：可以自行 调整
Perplexity per line和Burstiness的权重来判断文本是否由人工还是AI生成
本文链接：https://my.lmcjl.com/post/9854.html
展开阅读全文
4 评论