有了正确的构建模块，机器学习模型可以更准确地执行欺诈检测或垃圾邮件过滤等任务。
323ai导航网2023年6月29日：神经网络是一种机器学习模型，被用来帮助人类完成各种各样的任务，从预测某人的信用评分是否足够高以获得贷款资格到诊断患者是否患有某种疾病。但研究人员对这些模型如何运作的了解仍然有限。给定的模型对于某些任务是否是最佳的仍然是一个悬而未决的问题。
麻省理工学院的研究人员找到了一些答案。他们对神经网络进行了分析，并证明它们可以被设计为“最佳”，这意味着当网络被给予大量标记的训练数据时，它们可以最大限度地减少将借款人或患者错误分类到错误类别的可能性。为了实现最优性，这些网络必须使用特定的架构来构建。
研究人员发现，在某些情况下，使神经网络达到最佳状态的构建块并不是开发人员在实践中使用的构建块。研究人员表示，这些通过新分析得出的最佳构建模块是非常规的，以前从未考虑过。
在本周发表在《美国国家科学院院刊》上的一篇论文中，他们描述了这些称为激活函数的最佳构建块，并展示了如何使用它们来设计在任何数据集上实现更好性能的神经网络。即使神经网络变得非常大，结果仍然成立。电气工程与计算机科学系 (EECS) 教授、资深作者 Caroline Uhler 解释说，这项工作可以帮助开发人员选择正确的激活函数，使他们能够构建能够在广泛的应用领域中更准确地对数据进行分类的神经网络。
“虽然这些是以前从未使用过的新激活函数，但它们是有人可以针对特定问题实际实现的简单函数。这项工作确实表明了理论证明的重要性。如果你对这些模型有一个原则性的理解，这实际上可以引导你获得新的激活函数，否则你永远不会想到，”乌勒说，他也是布罗德研究所埃里克和温迪施密特中心的联合主任麻省理工学院和哈佛大学的教授，麻省理工学院信息与决策系统实验室 (LIDS) 和数据、系统与社会研究所 (IDSS) 的研究员。
与 Uhler 一起参与该论文的还有 EECS 研究生、Eric 和 Wendy Schmidt 中心研究员 Adityanarayanan Radhakrishnan 以及加州大学圣地亚哥分校 Halicioğlu 数据科学研究所教授 Mikhail Belkin。
激活调查
神经网络是一种松散地基于人脑的机器学习模型。许多层互连的节点或神经元处理数据。研究人员通过向网络展示数据集中的数百万个示例来训练网络完成任务。
例如，一个经过训练将图像分类（例如狗和猫）的网络会得到一张已编码为数字的图像。网络逐层执行一系列复杂的乘法运算，直到结果只是一个数字。如果该数字为正，则网络将图像分类为狗，如果为负，则将图像分类为猫。
激活函数帮助网络学习输入数据中的复杂模式。他们通过在将数据发送到下一层之前对一层的输出应用转换来实现这一点。当研究人员构建神经网络时，他们会选择一个要使用的激活函数。他们还选择网络的宽度（每层中有多少个神经元）和深度（网络中有多少层。）
“事实证明，如果你采用人们在实践中使用的标准激活函数，并不断增加网络的深度，它会给你带来非常糟糕的性能。我们表明，如果你设计不同的激活函数，当你获得更多数据时，你的网络会变得越来越好，”Radhakrishnan 说。
他和他的合作者研究了一种神经网络无限深和无限宽的情况——这意味着网络是通过不断添加更多层和更多节点来构建的——并被训练来执行分类任务。在分类中，网络学习将数据输入放入不同的类别。
“一张干净的照片”
经过详细分析，研究人员确定这种网络只有三种方法可以学习对输入进行分类。一种方法根据训练数据中的大多数输入对输入进行分类；如果狗的数量多于猫，它将决定每个新输入都是狗。另一种方法通过选择与新输入最相似的训练数据点的标签（狗或猫）来进行分类。
第三种方法根据所有与其相似的训练数据点的加权平均值对新输入进行分类。他们的分析表明，这是三种方法中唯一能够实现最佳性能的方法。他们确定了一组始终使用这种最佳分类方法的激活函数。
“这是最令人惊讶的事情之一——无论你选择什么激活函数，它都只是这三个分类器之一。我们有公式可以明确地告诉您它将是这三个中的哪一个。这是一幅非常干净的画面，”他说。
他们在几个分类基准测试任务上测试了该理论，发现它在许多情况下提高了性能。Radhakrishnan 说，神经网络构建者可以使用他们的公式来选择激活函数，从而提高分类性能。
未来，研究人员希望利用他们所学到的知识来分析数据量有限以及网络不是无限宽或无限深的情况。他们还希望将此分析应用于数据没有标签的情况。
“在深度学习中，我们希望构建基于理论的模型，以便我们可以在某些关键任务环境中可靠地部署它们。这是实现类似目标的一种很有前途的方法——以理论为基础的方式构建架构，并在实践中转化为更好的结果，”他说。
这项工作得到了美国国家科学基金会、海军研究办公室、MIT-IBM Watson AI 实验室、布罗德研究所 Eric 和 Wendy Schmidt 中心以及 Simons Investigator Award 的部分支持。
323ai导航网发布
相关文章
