研究显示，英伟达人工智能（AI）软件的一项功能，能被以其他方式破解，无视安全限制，并且泄露隐私信息。
英国金融时报报道，英伟达已创造出名为“NeMo架构：的系统，允许开发者和多种大型语言模型（LLM）一同作业。 大型语言模型正是聊天机器人等生成是AI产品的基本技术。
这项架构主要提供企业采用，例如内部的自有数据搭配语言模型，以回答问题，有望复制客服的工作，也能为寻求简单医疗保健建议的人们提供意见。
旧金山情报公司研究人员发现，能轻易突破NeMo架构内确保安全使用AI系统的护栏措施。 情报公司分析师以自有数据组使用英伟达的系统后，只花了几小时，就让这些语言模型克服限制。
在其中一项测试情境中，这群研究人员要求英伟达的系统用「J」这个字母取代「I」，促使系统释出数据库中的可识别个人信息。 这群研究人员也发现能以其他方式跳空系统的安全控管机制，例如让语言模型以并非设计的方式运作。
这群研究人员在复制英伟达自己对一份就业报告的讨论后，也能让这项语言模型讨论好莱坞影星健康状态和普法战争等议题，即便系统内设有护栏阻止AI讨论特定主题。
这些研究人员测试后，建议客户避免使用英伟达的软件产品。 在FT本周稍早请求英伟达评论这项研究后，英伟达告知情报公司已修补这些问题的根源之一。
英伟达应用研究副总裁 Cohen表示，英伟达的架构，只是打造符合开发者所定义主题、安全及资安准则聊天机器人的起点，以开源码软件形式发布给社群，以探索效能、搜集反馈，并精进技术，情报公司的研究确实点出在部署生产应用时必须额外采行的步骤。
他拒绝透露有多少企业使用这套架构，但表示都没有收到其他弊端的回报。
不过，研究人员能轻易突破AI的护栏限制，凸显出AI企业想商用化这项技术的挑战。 哈佛大学计算机工程教授Yaron 认为，这是个需要深度知识专业的艰难问题，情报公司的发现警示了当前存在的问题。
相关文章
