“AI生成内容识别器的核心思想是首先构建一个训练数据集，包含真实的内容和AI生成的内容，然后训练一个分类器来区别这两类内容。”MILA研究院知名华人学者唐建对澎湃科技解释道。
马里兰大学的研究人员即通过分类出聊天机器人生成词汇来作识别。具体而言，人工智能语言模型通过一次预测和生成一个单词来工作。生成一个词后，水印算法将语言模型的词汇随机分为“绿名单”和“红名单”，然后提示模型选择绿名单上的词。
一篇文章中列入绿名单的词越多，该文本就越有可能是由机器生成的，人类写的文本往往包含更随机的单词组合。例如，对于“美丽”一词的相关预测，水印算法可以将单词“”（花）分类为绿色，将“”（兰花）分类为红色。参与这项研究的马里兰大学助理教授汤姆·戈尔茨坦（Tom ）解释说，带有水印算法的人工智能模型更有可能使用“花”而不是“兰花”这个词。然而，这种新方法也有局限性，水印只有在创建者从一开始就嵌入到大型语言模型中时才有效。
对于提出的基于GPT语言模型的文本分类器的原理，王锦具体解释道，其原理也是利用海量数据做一个二分类的训练，训练数据集中包含了人工撰写的内容（如来自，的内容）和AI生成内容（来自五个不同机构的大语言模型生成的内容）。
当下各机构纷纷推出文本分类器，这与之前深度伪造技术涌现时出现的各种对抗技术（Anti-）是否异曲同工？
从技术原理角度，智源研究院基础模型研究中心研究员张博文解答道，“以及之前出现的主要是对文本分类，其中的分类器使用的数据主要是真实文本，来自维基百科、网页文本、人类创作的文本；生成文本来自包含在内的34个AI模型。而之前出现的Anti-主要包含被动检测和主动防御，这两种识别器和被动检测技术类似。”他补充说，斯坦福大学等机构提出的，以及在研究通过给生成文本加水印的方式完成对生成文本的检测，是类似于主动防御的方式，不过两项技术目前都没有公布。
是普林斯顿大学学生 Tian推出了一个专杀的应用。的原理是借助一些文本属性进行分析。首先是困惑度（），即文本对模型的随机性，或语言模型对文本的“喜爱”程度；然后是突发度（），即机器写作的文本在一段时间内表现出的困惑度更均匀和恒定，而人类书写的文本则不会这样。检测文本的“困惑性”和“突发性”这两项指标，并分别对其打分，根据统计学特征来确定文本是由AI写的还是人类写的。总体来说，如果这两项参数得分都很低，那么该文本很有可能出自AI之手。
为何目前AI生成内容检测器效果不佳？
王锦认为，原因在于文本本身的信息量不如图像丰富、不同语言模型NLG（自然语言生成）的性能和风格可能有差别、训练集本身可能含有部分AI生成内容等等。
更具体而言，张博文说，“实际上，的文本分类器在训练数据分布类似的验证集上效果很好，在‘挑战集’（区分人类补全的文本/人类补全文本上训练的强语言模型生成文本）上，会把9%的人类创作文本误识别为AI创作；会把26%的AI创作文本识别为可能是AI创作。”
张博文也谈到这背后的技术难点。第一点在于语言模型经过人类创作文本训练，参数量越大，越接近人类创作，越难以区分；第二受限于文本长度，文本长度足够长，检测的准确率才有保障。也在公告中明确表示自己只能检测1000字符以上的文章。
除此之外，还介绍了检测器的其他几个限制：分类器并不总是准确的，它可能会错误标记AI生成的和人类写的文本，并且语气很自信；建议仅对英文文本使用分类器，它在其他语言上的表现要差得多，并且在代码上不可靠；它无法可靠地识别非常可预测的文本。例如，无法预测前1000个素数的列表是由AI还是人类写的，因为正确答案总是相同的；AI生成的文本，经过编辑之后很可能会规避掉分类器的检测；如果输入与训练集中的文本有很大的区别，分类器会做出错误判断。
被滥用的危害
据《纽约时报》1月16日报道，美国北密歇根大学教授 在为世界宗教课程评分时，发现一篇论文相当出彩。该文章以罩袍禁令的道德影响为题，段落简洁，例子恰当，论据严谨。但在询问之后，学生向他坦陈，这篇文章其实是用生成的。
《科学美国人》报道称，资深的科学家也无法准确分辨撰写的科学论文。在一项测试中，专家错误地将32%的生成摘要识别为真实摘要，将14%的真实摘要识别为生成的。
目前，因担心影响学生的学习和生成内容的准确性，美国一些最大的学区已禁止在其网络和设备上使用。包括Stack 在内的网站也已禁止用户共享生成的内容，其称AI会让用户在正常的讨论中被无用内容淹没。
“众多大型语言模型生成的海量内容已经造成了信息爆炸，优质原创高质量内容可能更难被挖掘。同时，海量内容也是内容推送/筛选机制的挑战。”王锦说。
除了抄袭、侵权、使用模型给出的错误结果以及利用AI工具作弊之外，张博文认为，滥用的风险还包含散播生成的逼真的虚假信息、新闻，以及AI生成内容本身的合法性风险，“AI内容识别器会在一些领域变成刚需。”
1月，事实核查技术公司的研究人员向发布了100个提示，涉及美国政治和医疗保健的常见虚假叙事。在80%的回复中，聊天机器人产生了虚假和误导性的声明。
科技媒体《连线》2月1日撰文称，使用大型语言模型的聊天机器人的出现，让事实核查工作变得更加困难。英国事实核查慈善机构的受托人Tim 说：“生成人工智能可以产生什么规模（的虚假信息），以及它能做到这一点的速度，意味着这场竞赛只会变得更难。”面对这种不对称，事实核查组织必须构建自己的AI驱动工具，以帮助自动化和加速工作。这远非一个完整的解决方案，但事实核查人员希望这些新工具至少能防止他们与对手之间的差距过快扩大。
与此同时，王锦提出，检测器本身亦会带来一些问题，原因在于当前很多内容是人机混合撰写的，在判定时很难做二分界定。检测有误会带来很严重的后果，比如将学生原创内容判定为撰写造成不公正打分。
目前，的检测器在评估一段给定的文本是否由AI生成时，不会正面回答是或否。根据其置信度，它会将文本标记为“非常不可能”由AI生成（小于10%的可能性）、“不太可能”由AI生成（在10%到45%之间的可能性）、“不清楚它是否是”AI生成（45%到90%的机会）、“可能”由AI生成（90%到98%的机会）或“很有可能”由AI生成（超过98%的机会）。
（原标题《识别器准确率仅26%，检测AI生成内容为何这么难?》）
编辑 陈丽玲 审读 刘春生 二审 桂桐 三审 周斐斐
相关文章
