写作任务的教学目标不仅是完成一篇文章，更重要的是让学生在创作过程中掌握特定的知识和技能。然而，生成式AI工具的广泛应用让教师感到担忧。教师担心学生会将AI工具产出的内容当作自己的原创作品。在这种情况下，学生不仅未能实现真正的学习目标，甚至可能影响学术诚信。
为了解决这一问题，AI检测工具应运而生。AI检测工具能够检测由生成式AI生成的文字，为教师进一步地指导提供参考。本报告测试了市面上热门的16款AI检测工具。测试结果显示，大多数AI检测工具能够识别GPT-3.5生成的文字，但是无法有效识别GPT-4生成的文字。然而，、和.ai这三款工具在检测GPT-4方面表现出较高的准确性。以下为测试的具体过程：
1. 选择AI检测工具
本报告选择了市面上最热门的十六款AI检测工具，具体包括：
2. 准备测试文本
本报告共选取了126篇测试文本，并分成三组进行测试。第一组包含42篇由大一学生在2014-2015学年期间撰写的论文，这些论文完成于生成式AI工具普及之前，确保了文章不是由AI生成。第二组是42篇由GPT-3.5生成的论文。第三组为42篇由GPT-4生成的论文。第二组和第三组的测试文本均生成于 2023 年 4 月第一周，题目涵盖了社会科学、自然科学和人文学科等多个领域。
3. 进行测试
测试于2023年6月25日至2023年7月12日进行。所有测试文本都已经去除了表格、项目符号等内容，以纯文本的格式依次递交至16款检测器中。每一篇的测试结果都被归为：AI生成、人类撰写或者不确定。其中，AI生成表示文本的大部分内容可能由AI生成，但不一定意味着整个文本都是由AI生成的。
4. 对比结果
（42篇学生论文的检测结果）
学生论文组：、、GPT Radar和的准确率最高，误报率最低。.ai、等9款工具的准确率在85%以上。SEO.ai、和这三款工具的误报率较高。
（42篇GPT-3.5生成文章的检测结果）
GPT-3.5组：大部分的工具能够识别GPT-3.5生成的内容，准确率在86%以上。但是，、 at scale和的准确率较低，未达到本组测试的平均值。
（42篇GPT-4.0生成文章的检测结果）
GPT-4.0组：面对GPT-4.0生成的文本时 ，只有、和.ai的准确性较高。其余检测工具的检测结果都不太稳定，误报率也很高。可以说这是这3款检测工具与其他13款检测工具之间最重要的区别。
（126篇测试文本的检测结果）
综合评估126篇测试文本的测试结果，可以将16款检测工具分成三档。第一档为、和.ai，准确率均超过90%，表现出色。第二档为、、等其他工具，准确率在63%至88%之间。第三档为和，准确率低于63%。
5. 结论
大部分检测工具可以检测GPT-3.5 论文和人类撰写的文本，但是无法有效检测GPT-4生成的内容。然而，、和.ai在检测GPT-4生成的内容时，也展现了较高的准确性。
在允许使用AI工具的教学场景下，教师有必要确认学生使用AI工具的大致情况，避免学生滥用AI工具。考虑到AI检测工具存在误报的情况，AI检测工具的结果不宜作为判断学术不端的唯一标准。为了维护学生的利益，教师需要具体情况具体分析，结合学生的平时作业、学校政策等因素进行综合考量。
参考资料：
· The of to AI- : A of 16 AI Text
相关文章
