敬请点击上面“真正的人工智能”关注本公众号，看AI独家观点
原文摘要：
张俊林：
对于NLP研究人员，前景非常不乐观。
目前大多数NLP子领域，仍然是以独立研究领域存在的，比如“机器翻译”、“文本摘要”、“QA系统“等，只是切换成在“预训练+fine-／few shot ”框架下，面对领域独有问题，陆续提出新的改进方案。目前研究表明，很多NLP任务，随着LLM（大型语言模型）模型规模增长，效果会大幅提升。据此，我觉得也许我们可以得到如下推论：大多数某领域所谓“独有”的问题，大概率只是缺乏领域知识导致的一种外在表象，只要领域知识足够多，这个所谓领域独有的问题，就可以被很好地解决掉，其实并不需要专门针对某个具体领域问题，冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单：你只要把这个领域更多的数据交给LLM，让它自己学习更多知识即可。
郑楚杰：
以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难，过于 magic」，即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实：
（1） 提供的 LMaaS 服务（toB 和 toC）已经具备很高的速度（很低的延迟)，并构成了行之有效的盈利模式；
（2）2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界，这进一步促进了（1）；
（3）（2）中的这些研究都是出自国际大厂，国内几乎已经缺席了 LLM 的前沿研究；
（4）由于实力的不对等，、、 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展（转为挤牙膏模式）。
多头注意力：
题主用了冲击一词，应该认为影响比较负面。我倒是认为不一定，特别是应用端，以下是几点想法：
大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。 并不是个像查天气，查邮编这样确定性的api， 的设计，结果的校验都是需要不少工作的。
从业者的工作方式肯定会改变。重要的是跟上趋势，不要抱着原来的技术和方法不放。这个情况也不是没有经历过，词向量时代大家花大量时间减少OOV ，bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了，会冲击行业，但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型，那可能对他的职业发展确实是有【冲击】。
原文：
点评：
看来的惊艳效果确实给业界带来了冲击，尤其是自然语言处理（NLP）领域。但是要说NLP算法从业者（NLPer）就没什么事情可做了，那还是很值得商榷的。
我非常同意“多头注意力”这位网友的观点，大语言模型（LLM）就好像一个平台，在上面可以做很多事，但很多时候并不是用模型直接就可以做的，即并非是0 shot，将其应用到某个垂直领域，还是需要技术人员进行调校，即设计等，所以NLP算法从业者可以更多地转到应用端的开发上来，更多去理解应用，然后将LLM与应用能更好地结合，这也是非常有意义和重要的工作。
说到底，落地应用才是最终目的，只是理论、论文、算法，只是刷SOTA，并没有意义，实际上这已经形成了业界一种不好的风气，使得整个业界高高在上、飘在空中，甚至不少人因此认为人工智能的寒冬又要来了，所以到了该纠正、该落地的时候了。而LLM实际上提供更好的工具或平台，让业界能够更容易将技术落地，产生实际的价值，也只有这样，整个业界才能健康持续发展。前两次人工智能的发展进入寒冬，最主要的原因就是没有产生出实用的东西。
至于说有人诟病大厂据LLM形成垄断，这也是没有办法的事，因为在一个社会中，总是会有一些支柱性的东西，它们需要高昂的成本来打造，因此这些东西也就只能依赖大厂，中小企业没有这样的技术实力，也负担不起这样的成本。这就类似个人计算机时代的操作系统，不可能谁都能自己搞个操作系统出来，现实则是长期都被微软垄断，似乎天也并没有塌下来。当然，长期被一家垄断确实可能会有比较大的问题，然而之后出现的linux打破了这种垄断，尤其是开源，使得整个业界的发展更加良性。
由此看来，我们更加不必担心LLM的垄断，因为从一开始就有谷歌、meta、等几家形成竞争态势，而且一定还会不断有新的竞争者加入，所以我们没有必要对此太过担心。
不过，有个问题确实还是比较令人担心的，就是上面网友郑楚杰说的：
……这些研究都是出自国际大厂，国内几乎已经缺席了 LLM 的前沿研究。
人工智能的基础和前沿研究确实仍然是我们的弱点所在，这一波深度学习浪潮起来，我们本来基本与国际大厂站在了同一条起跑线上，但是估计仍然怕冒太大风险，不敢在这种基础研发上投入太大，导致我们又一次在大规模语言模型上落后了。
LLM上的落后很可能是致命的，我们知道人工智能将是各国在本世纪竞争的最重要和最关键的领域，尤其是上半世纪，谁如果在这方面领先了，很有可能就会掌控了整个世纪发展的主动权。
我一直对中国在本世纪的崛起非常乐观，人工智能方面我们也一直在急起直追，在论文、专利等方面取得了一定的优势，但LLM上的落后也让我看到了不小的隐忧，因为这是基础，大厦基础不牢会有什么后果我们都知道。如果再像IT时代那样，操作系统、数据库等关键基础技术和产品都牢牢攥在别人手上，对我们的崛起必将受到很大制约，尤其是现在别人还在想方设法卡我们脖子的时候。
所以希望国内的IT大厂们，BAT们，不要再短视了，不要再只是注重短期利益，不要只盯着回报，拿出点勇气来，敢于去承担更大风险，去挑战国际大厂们，为中华民族崛起于世界之巅去承担起你们的历史责任。也只有这样，你们的企业才能成为真正伟大的企业，而不只是一个赚钱机器，企业领导人也才能成为真正伟大的企业家而名垂青史。
同时，我们不应因为这暂时的落后而灰心，机会还是有的，而且可以说是很大的。
虽然很厉害，但是弱点也非常明显，因为其仍然不是通用人工智能，不是认知智能，对事物没有真正的理解和认知，比如下面这个例子：
实际上，由于等仍然常常会犯这样的低级错误，除了在艺术创意方面，或者像智能音箱这种小应用，这些方面错了也没有太大伤害，在很多应用领域人们还并不敢放心大胆地使用，比如你用于客服系统，要是给用户提出很离谱的错误指示，恐怕会造成难以预估的影响。即使如智能音箱，比如亚马逊的产品教人对自己做出伤害，也是不容忽视的严重问题。关键还在于其不同于传统机器，这些错误是你完全无法预判的，你完全不知道在什么时候它会发神经，给你搞出点非常离谱的事情来，而且你也完全不知道它会离谱到什么程度
。
所以也就有了这种事情的发生，，正如这篇文章所说：
不过随后，码农们马上发现，生成的代码，其实有不少问题。
会「犯蠢」，背后原因其实很简单——AI的输出，是概率性的。没有任何标记了对错的内部记录，它其实是一个统计模型，这个模型中，是在不同上下文中的语言组合。
而上下文的基础，就是GPT-3训练所用的整体数据集，来自的RLHF训练的额外上下文，和之前的对话，以及很快就会有的反馈。
的答案，本质上就是从构成GPT-3的互联网数据语料库中收集的概率结果。在10秒内，做出了结果的最佳猜测，这个猜测很可能是正确的。
当然，也有错误的概率。
对于程序员们来说，由于“这个猜测很可能是正确的”，确实能给码农们提供很大的帮助，且其代码会由程序员最后确认，故错误也不会有什么问题，包括写文章等一些应用，带来的影响总体上可以说是积极的，是在推动着人工智能科技向前发展，并在落地和实用化方面取得了实质性进展，但是要说会让NLPer们大规模失业恐怕还为时尚早，很可能历史继续重演，目前的LLM并不一定能带来难以承受的冲击，就如网友“多头注意力”说的：
当时bert 出来大家也感叹以后炼丹容易了，会冲击行业，但实际结果并没有。
所以，搞研发的同仁们、IT大厂们，你们不是没有事情可做了，而是还有很多、很重要的事情需要你们去做，一方面在LLM上追上世界先进水平；另一方面，目前的大型语言模型并不是天花板，离真正的人类智能还差得很远，发展的空间还非常大，需要你们在通用智能和认知智能上去勇于探索，去实现真正的突破，一旦取得这样突破，我们就将一举扭转落后的颓势，转而成为世界的领先者。
与此同时，也希望国家能给予新方向的探索更多一些支持，尽可能减少探索者们的后顾之忧，不唯论文、专利，要有真正懂行的管理者和慧眼识珠的伯乐去实质性推动业界的发展，为此管理者们需要非常了解业界的新动向、新科技以及发展趋势，要不断更新自己的相关知识，切不可拿自己曾经学习的知识或取得的成果就认为可以一劳永逸了。
当然，要取得真正的突破确实不容易，连那些国际大厂们也都认为非常困难，但外国人做不到的事，并不代表我们中国人就不能做到。
只要我们敢于去承担更大风险，敢于打破思维的框框，不再只满足于跟在别人后面跑，不再只满足于应用领域的领先，尤其不要局限在人工神经网络和深度学习上面，甘于坐冷板凳、埋头长期研究和探索，相信我们一定有能力取得原始重大创新的真正突破。自从现代科技时代的到来，我们等这一天已经太久了，现在我们已经在各方面迫近了世界先进水平，该中华民族承担起人类历史责任的时候了，大家一起加油吧！
– END –
我的书《人工智能启示录》经过两年的不断反复审核、修改，终因观点太过尖锐、内容太过敏感，且我不愿过于妥协，因而过不了出版社方面的最终审核，故放到网上供大家免费阅读，其中有很多内容是从未在网上发表过的。（想看点击文末“阅读原文”）
||？||||||||？||||||||||||||||||||||||||||||||||
|||||||||||||||||||||||||||||||||||||||||
|||||||||||||||？||||
323AI导航网发布
相关文章
