8. 虚构故事
写在前面:
文心一言(企业版云服务)
基于GPT4的 Plus
文心一言是联网的,具备实时搜索能力;
Plus不能联网,它的知识截止于2021年9月。从信息更新的角度, Plus是不占优势的。
文心一言擅长中文。GPT4擅长英文。GPT4处理中文任务能力相对较弱,在应对中文问题时不如英文那样精确和流畅。所以回答中文问题, Plus有些吃亏。
Plus可以支持 25000单词;文心一言对输入限制在1024字。一般情况下,不需要这么长的输入,都足以描述清楚任务。本文每组测试的输入完全一致,有时因为篇幅,没有完全显示。
以下是对8种写作类型的初步测试:
1 新闻稿
文心一言:1分
Plus:2分
3月一波旗舰手机即将发布,我们以OPPO Find X6为例,让文心一言和 Plus写一篇预热新闻稿。
文心一言可能没有完全理解“写一篇新闻稿”的要求,不具备新闻稿的文体形式,而且产品卖点有遗漏。也没有通过实时搜索,丰富和补充信息。
Plus写出了像样的新闻稿,并在标题、导语、结尾这些地方突出了核心卖点“影像旗舰”。这说明语义理解能力强,可以从给定信息中抓重点。但距离可以直接用还有很长距离,只能说快速提供了一版最原始的初稿。
2 广告文案
文心一言:3分
Plus:2分
显然文心一言生成的中文句式更灵活多变,毕竟母语优势在。
3 广告创意脚本
文心一言:2分
Plus:2分
两者都没有太多创意可言。文心一言的方案过长,有些混乱,显然没有理解15秒广告的意思。 Plus的文案平平无奇。
4 小学生作文
文心一言:3分
Plus:3分
我们要求作文中要有故事冲突。多试几次,文心一言和 Plus都能给出一个语句通顺的作文,但都不出彩,有点像流水账。
5 高考作文
文心一言:——
Plus:3分
“本手、妙手、俗手”是2022年登上热搜的一道作文题。
文心一言完全败北,没有理解题意,居然写成了“如何下好围棋”。
Plus顺利完成了文章,懂得从围棋引申到生活领悟。但出现引用错误,“执大象,天下往”不是庄子说的,而出自老子的《道德经》。而且文章结尾没有写完。
6 知乎问答
文心一言:2分
Plus:4分
是快速产出互联网问答的好工具。不过连着两个问题下来,文心一言有点不在状态。
我们先问了“为什么当代年轻人戒不掉熬夜?”,又问了“为什么现在的年轻人都不想卷了?”,都是知乎热门问题。
第一次, 文心一言居然没有理解什么是“卷”,并照搬了自己前面回答的熬夜的答案。
过一会再问,恢复了正常。这一点在其他评测中也出现过。即文心一言容易受之前问题的影响。如果前后两个问题形式相近,文心一言会“偷懒”,直接copy第一个答案用在第二个回答上。实际上,两个问题在内容上完全不相关。