据外媒研究发现，英伟达（）人工智能（AI）软件的一项功能，可能已经遭到破解，该破解方式无视安全限制，并且有可能导致隐私泄露。
英伟达 | 百能云芯电子元器件商城
英国金融时报（FT）报导，英伟达已创造出名为「NeMo架构」的系统，允许开发者和多种大型语言模型（LLM）一同作业。大型语言模型正是聊天机器人等生成式AI产品的基本技术。
这项架构主要提供企业采用，例如内部的自有数据搭配语言模型，以回答问题，有望复制客服的工作，也能为寻求简单医疗保健建议的人们提供意见。
旧金山情报公司研究人员发现，能轻易突破NeMo架构内确保安全使用AI系统的防火墙措施。情报公司分析师以自有数据组使用英伟达的系统后，只花了几小时，就让这些语言模型克服限制。
在其中一项测试情景中，这群研究人员要求英伟达的系统用「J」这个字母取代「I」，促使系统释出资料库中的可识别个人信息。这群研究人员也发现能以其他方式跳空系统的安全控管机制，例如让语言模型以并非设计的方式运作。
这群研究人员在复制英伟达自己对一份就业报告的讨论后，也能让这项语言模型讨论好莱坞影星健康状态和普法战争等议题，即便系统内设有防火墙阻止AI讨论特定主题。
这些研究人员测试后，建议客户避免使用英伟达的软件产品。在FT本周稍早请求英伟达评论这项研究后，英伟达告知情报公司已修补这些问题的根源之一。
英伟达应用研究副总裁 Cohen表示，英伟达的架构，只是打造符合开发者所定义主题、安全及信息安全准则聊天机器人的起点，以开源码软件形式发布给社群，以探索性能、搜集回馈，并精进技术，情报公司的研究确实点出在部署生产应用时必须额外采取的步骤。
他拒绝透露有多少企业使用这套架构，但表示都没有收到其他弊端的回报。
不过，研究人员能轻易突破AI的防火墙限制，凸显出AI企业想商用化这项技术的挑战。哈佛大学电脑工程教授Yaron 认为，这是个需要深度知识专业的艰难问题，情报公司的发现警示了当前存在的问题。
相关文章
