分享这篇文章之前，先感叹几句：世界真的是太奇妙了！
为啥这么说呢，听我慢慢说来，今天下午因为工作上需要，在查看 官网中 on data 介绍时，在针对神经网络偏置bias初始化时，引入了一篇他人文章，因为我是这样一个人：如果我觉得某篇文章很棒，我会去追踪源头。所以我就顺势打开了 借鉴的那篇文章，映入我眼帘的是一篇英文博客，看了下标题：A for ，标题很普通，再瞅了瞅正文，看了几段后，发现这文章写的时真心是哇。
然后心想着，什么时候是不是能翻译下这篇文章呢。结果过了2个多小时，神奇的事情发生了：我无意间发现了机器之心之前发过了一篇文章，标题为：出神入化：特斯拉AI主管、李飞飞高徒的33个神经网络「炼丹」技巧，等我打开一瞅。我去，这不就是我下午看到的英文博客的中文翻译么！
所以我就转载分享下，这篇文章干货非常多，技巧非常有用，值得大家慢慢来读！以下是正文内容（因为文章很赞，所以我也将文章中的技巧进行了打包下载，需要的同学可以自行去文章末尾领取）：
———————————————-
特斯拉人工智能部门主管 发布他的新博客，介绍神经网络训练的技巧。
是深度学习计算机视觉领域、与领域的研究员。博士期间师从李飞飞。在读博期间，两次在谷歌实习，研究在 视频上的大规模特征学习，2015 年在 实习，研究深度强化学习。毕业后， 成为 的研究科学家，后于 2017 年 6 月加入特斯拉担任人工智能与视觉总监。
今日他发布的这篇博客能为深度学习研究者们提供极为明晰的洞见，在 上也引发了极大的关注。
1. 谁说神经网络训练简单了？
很多人认为开始训练神经网络是很容易的，大量库和框架号称可以用 30 行代码段解决你的数据问题，这就给大家留下了（错误的）印象：训练神经网络这件事是非常简单的，不同模块即插即用就能搭个深度模型。
简单的建模过程通常如下所示：
> your_data = # plug your awesome dataset here> model = SuperCrossValidator(SuperDuper.fit, your_data, ResNet50, SGDOptimizer)# conquer world here
这些库和示例令我们想起了熟悉标准软件及模块，标准软件中通常可以获取简洁的 API 和抽象。
例如 库的使用展示如下：
> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))> r.status_code200
酷！这些库和框架的开发者背负起理解用户 Query 字符串、url、GET/POST 请求、HTTP 连接等的大量需求，将复杂度隐藏在几行代码后面。这就是我们熟悉与期待的。
然而，神经网络不一样，它们并不是现成的技术。我在 2016 年撰写的一篇中试图说明这一点，在那篇文章中我认为反向传播是「leaky 」，然而现在的情况似乎更加糟糕了。
+ SGD 不是魔法，无法让你的网络运行；批归一化也无法奇迹般地使网络更快收敛；RNN 也不能神奇地让你直接处理文本。不要因为你可以将自己的问题表示为强化学习，就认为你应该这么做。如果你坚持在不理解技术原理的情况下去使用它，那么你很可能失败。
2. 背着我不 work 的神经网络
当你破坏代码或者错误配置代码时，你通常会得到某种异常。你在原本应该插入字符串的地方插入了整数；导入出错；该关键字不存在……此外，为了方便 debug，你还很可能为某个功能创建单元测试。
这还只是开始。训练神经网络时，有可能所有代码的句法都正确，但整个训练就是不对。可能问题出现在逻辑性（而不是句法），且很难通过单元测试找出来。
例如，你尝试截损失度而不是梯度，这会导致训练期间的异常值被忽视，但语法或维度等检测都不会出现错误。又或者，你弄错了正则化强度、学习率、衰减率、模型大小等的设置，那么幸运的话网络会报错，然而大部分时候它会继续训练，并默默地变糟……
因此，「快速激烈」的神经网络训练方式没有用，只会导致困难。现在，这些经验性困难是使神经网络正常运行的拦路虎，你需要更加周密详尽地调试网络才能减少困难，需要大量可视化来了解每一件事。
在我的经验中，深度学习成功的重要因素是耐心和注重细节。
如何解决
基于以上两点事实，我开发了一套将神经网络应用于新问题的特定流程。该流程严肃地执行了上述两项原则：耐心和注重细节。
具体来说，它按照从简单到复杂的方式来构建，我们在每一步都对即将发生的事作出准确的假设，然后用实验来验证假设或者调查直到发现问题。我们试图尽力阻止大量「未经验证的」复杂性一次来袭，这有可能导致永远也找不到的 bug／错误配置。如果让你像训练神经网络那样写它的代码，你会想使用非常小的学习率，然后猜测，再在每次迭代后评估整个测试集。
1. 梳理数据
训练神经网络的第一步是不要碰代码，先彻底检查自己的数据。这一步非常关键。我喜欢用大量时间浏览数千个样本，理解它们的分布，寻找其中的模式。幸运的是，人类大脑很擅长做这件事。有一次，我发现数据中包含重复的样本，还有一次我发现了损坏的图像／标签。我会查找数据不均衡和偏差。我通常还会注意自己的数据分类过程，它会揭示我们最终探索的架构。比如，只需要局部特征就够了还是需要全局语境？标签噪声多大？
此外，由于神经网络是数据集的压缩／编译版本，你能够查看网络（错误）预测，理解预测从哪里来。如果网络预测与你在数据中发现的不一致，那么一定是什么地方出问题了。
在你对数据有了一些感知之后，你可以写一些简单的代码来搜索／过滤／排序标签类型、标注规模、标注数量等，并沿任意轴可视化其分布和异常值。异常值通常能够揭示数据质量或预处理中的 bug。
2. 配置端到端训练/评估架构、获取基线结果
现在我们已经理解了数据，那我们就可以开始构建高大上的多尺度 ASPP FPN 并训练强大的模型了吗？当然还不到时候，这是一个充满荆棘的道路。我们下一步需要构建一个完整的训练、评估架构，并通过一系列实验确定我们对准确率的置信度。
在这个阶段，你们最好选择一些不会出错的简单模型，例如线性分类器或非常精简的 等。我们希望训练这些模型，并可视化训练损失、模型预测和其它度量指标（例如准确率）。当然在这个过程中，我们还需要基于一些明确假设，从而执行一系列对照实验（ ）。
该阶段的一些技巧与注意事项：
3. 过拟合
到了这个阶段，我们应该对数据集有所了解了，而且有了完整的训练+评估流程。对于任何给定的模型，我们可以计算出我们信任的度量。而且还为独立于输入的基线准备了性能，一些 dumb 基线的性能（最好超过这些），我们人类的表现有大致的了解（并希望达到这一点）。现在，我们已经为迭代一个好的模型做好了准备。
我准备用来寻找好模型的方法有两个阶段：首先获得足够大的模型，这样它能够过拟合（即关注训练损失），然后对其进行适当的正则化（弃掉一些训练损失以改进验证损失）。我喜欢这两个阶段的原因是，如果我们不能用任何模型实现较低的误差率，则可能再次表明一些问题、bug 和配置错误。
该阶段的一些技巧与注意事项：
4. 正则化
理想情况下，我们现在至少有了一个拟合训练集的大模型。现在是时候对它进行正则化，并通过放弃一些训练准确率来提升验证准确率了。技巧包括：
最后，为了更加确保网络是个合理的分类器，我喜欢可视化网络第一层的权重，确保自己获得了有意义的边缘。如果第一层的滤波器看起来像噪声，那需要去掉些东西。类似地，网络内的激活函数有时候也会揭示出一些问题。
5. 精调
现在你应该位于数据集一环，探索取得较低验证损失的架构模型空间。这一步的一些技巧包括：
6. 最后的压榨
一旦你找到最好的架构类型和超参数，依然可以使用更多的技巧让系统变得更好：
结论
一旦你做到了这些，你就具备了成功的所有要素：对神经网络、数据集和问题有了足够深的了解，配置好了完整的训练/评估体系，取得高置信度的准确率，逐渐探索更复杂的模型，提升每一步的表现。现在万事俱备，就可以去读大量论文，尝试大量实验并取得 SOTA 结果了。
最后说下文章下载方式：
323AI导航网发布
相关文章
