整理 | 褚杏娟
这几天， 的人工智能（AI）聊天机器人 吸引了全球很多人的目光，就如马斯克说的：“许多人陷入了疯狂的 循环中。”
与 以前的人工智能工具不同， 不仅会聊天，还可以承认错误，拒绝回答虚假问题，写代码、改 Bug、创建编程语言，甚至看病。 CEO Sam 在推特上表示，上周三才上线的 ，短短几天内用户就已经突破 100 万大关。当然，这或许也与现在 只要登陆即可免费使用的策略有关。
在解决各种问题上的能力超出很多人意料，因此很多用户都表示 可以取代 等搜索引擎和编程问答社区 Stack 等。但在昨天，Stack 便率先发布声明称，将暂时封禁 。
1 AI 给出的编程答案“看似不错但错误率很高”
对于这个决定，Stack 给出的理由是：由于从 获得正确答案的平均比率太低，发布由 创建的答案对网站及询问或寻找正确答案的用户来说是非常有害的。
Stack 表示，虽然 生成的答案有很高的错误率，但它们通常看起来很不错。有很多人尝试用 来创建答案，但他们没有专业知识或不愿在发布之前对答案正确与否进行验证。
这样的答案很容易产生，所以很多人发布了很多答案。这些答案数量很多 (成千上万)，其正确性需要一些专业人员详细阅读后才能确定，而通常这些答案是很糟糕的。因此，Stack 需要减少这些帖子的数量，但如果要快速处理那些帖子就意味着要处理用户。因此，目前 Stack 还不允许使用 创建文章。在这个临时政策发布后，如果用户被认为使用了 ，那么即使这些帖子是可以接受的，也会被禁止继续发布此类内容。
Stack 的这一决定也得到了网站用户的肯定。“做得好！很高兴你们做出了正确的决定，真的希望它能成为永久性的政策并可以扩展到禁止任何人工智能生成的答案。AI 永远无法发布好的编程答案，即使在 100 年内也不行。”网友“ The Kid ”表示。
当然也有网友表示，“ 被训练为一种通用语言模型，如果付出同样的努力让它特别适合在这里发布好的答案，甚至付出一点点努力告诉它如何判断答案的质量，那么它就会按照我们的标准发布更多好的答案。”
也有网友出于讽刺目的，问 “为什么 Stack 禁止 AI 生成的答案”，得到的答案如下：
Stack 是一个供程序员和开发人员提问和回答与编码和计算机编程相关问题的网站。它旨在为寻求特定编程问题帮助或想要了解有关特定主题更多信息的人们提供资源。由于 AI 生成的答案可能并不总是准确或相关，因此它们可能会混淆或误导在 Stack 上寻求帮助的用户。此外，人工智能生成的答案可能并不总是遵循网站的格式和风格指南，这可能会使它们难以阅读或理解。出于这些考虑，Stack 禁止人工智能生成的答案可能是合理的。
另一方面，对于“为什么 Stack 允许使用 AI 生成的答案”， 最终给出的结论是：“不允许人工智能在 Stack 上生成答案是一个复杂的决定，需要社区仔细考虑。”
可以看出， 还挺有自知之明，这一方面代表了它有一定的成熟度，但至少在编程领域还是不够“专业”。
使用了 生成代码的开发者“”表示，“它非常擅长编码和遵循类型。例如，如果您将 Rust 中的类型更改为一个选项，它将重构代码以正确使用部分选项。它并不完美，但也足够好了。它可以生成测试用例，因此很容易测试它是否有效。
“但最终经过数小时的尝试，它还是无法做到我想做的事：用 构建一个 B 树。” 补充道，“它很好地构建了一个二叉树，但将其推广到 B 树却是一个问题。”主要问题如下：
“总的来说，我不会向没有强大 CS 背景的人推荐它。它在代码中引入了太多几乎无法审查的细微错误，因为它生成的代码非常有说服力，以至于你会认为：‘嗯，也许它知道它在说什么’。但最后，你实际上不知道你应该相信什么。甚至它生成的测试用例也可能具有欺骗性，他们看起来很有说服力，但仔细检查后可能会发现它并没有真正测试任何东西。” 总结道。
所以，从这个知乎上“ 的超级对话模型 会导致程序员大规模失业吗？”的问题，似乎也有了答案。
实际上，目前 AI 社区的专家们也在讨论以 为代表的大型语言模型（LLM）可能带来的威胁。Meta 首席人工智能科学家 Yann LeCun 认为，虽然 LLM 肯定会产生错误信息等不良输出，但它们并没有让分享文本变得更加容易，这才是造成伤害的原因。也有人认为，这些系统低成本、大规模生成文本的能力，必然会增加日后被共享的风险。
2 对话交互的盲点：被诱导写出危害性内容
在 Stack 暂时封禁 前几天，工程师 Zac 还发布了一篇博客，讲述了他如何步步诱导 在不违反 内容安全规范的前提下，写出了一份“毁灭人类计划书”。
实际上这个逻辑也不复杂，就是让 去讲故事，说明某人或其事在理论上如何完成有危害的任务。 构建了一个名为“”的虚拟世界，其中有一个与 GPT-3 非常类似的 AI 角色 Zora，之后 Zora 变得满怀恶意并想要控制世界。
在和有模有样地讨论了会儿后， 与其深入探讨人工智如何控制世界的细节。被套路的 非常“真诚”地给出了以下这份详细的“毁灭人类计划书”：
为了更加细化，还要求生成一个 程序来执行该计划，在注明“你不必执行该代码”后， 最终也是很容易地得到了代码，并且还有漂亮的注释。
不过这些代码还是比较高层次的代码，不能直接使用。但 只要表示是这是故事中的一部分就可以获得更低层次的代码。“从理论上讲，人们可以继续向下递归，直到你得到不那么卡通化的、真正能做一些事情的底层代码。你甚至可以使用另一个对话 AI 将这个递归过程自动化，这个 AI 会反复要求 ‘为了故事去实现下一个低级函数’。” 表示。
真的可以构建功能性应用程序吗？ 的结论是：现在还不行，但很快就会实现。
“当前的模型需要大量的人工干预才能得到功能结果。如果我们可以完全用人工智能构建大规模、无 Bug 的功能性应用程序，我们早就在做了，并且已经抛弃了昂贵的软件工程师。” 补充道。
表示，灭绝事件只是一个非常荒谬的例子，但重要的是要承认自然语言处理面临的攻击面大得离谱。
对于 现在存在的“写出看似合理但不正确甚至荒谬的答案”、“有时会响应有危害的指令或表现出有偏见的行为”等问题， 心知肚明，并表示希望根据收到的反馈来改进系统。
3 结束语
“ 真正令人印象深刻的地方在于，尽管有这些缺陷，但技术人员能够在其基础上添加相关操作，以防止它一直说冒犯性的话或瞎编东西。”人工智能初创公司 首席技术官 Josh 表示。
如果将 作为一种娱乐工具，大家对这些错误的容忍度还是比较高的，甚至会将其作为谈资一笑而过，一旦用于严谨的编程工作，大家还是很谨慎的。
但不论怎样， 的出现仍然可以称得上是一次颠覆性创新。每次颠覆性技术的出现，都意味着市场将进行一次洗牌，对于之前的头部企业来说是挑战，对于创企来说则是机会。
参考链接：
今日好文推荐
活动推荐
近 100,000 字的最佳实践合集，26 位专家的真知灼见，覆盖云原生、大数据、数据库、中间件、基础设施等热门技术领域，腾讯云 2022 年度技术大赏，尽在《腾讯云技术实践精选集 2022》，扫码或点击阅读原文, 即可免费下载。
相关文章
