实测百度文心一言距离ChatGPT还有多远?

期待已久之后,终于拿到了文心一言的邀请码,第一时间进行了测试。最后面会讲一下如何获取邀请码。

先说一下结论,很远,但是又不远。

很远是因为:我个人测试得出来的实际效果和ChatGPT差距还很大,下面我会放一些对比。当然也有很多正面例子,回答和ChatGPT相当,甚至中文语境下还好一些。值得肯定。

不远是因为: 作为第一个敢正面硬刚ChatGPT的百度,打响了第一枪,和国内其它各个大厂阿里腾讯头条等等,赶上去需要的只是时间。

注意:我们只测试用中文问答的能力,对比英文的话,对wenxin不太公平?_

话不多说,先来看看对比:

wenxin:

ChatGPT:


看起来还不错哦,不知道为啥变成英文的了。


还有很多测试就不放了,dddd

总结一下:

  1. 基本的检索,然后规整文本输出,文心一言还是可以的。
  2. 需要稍微有点逻辑的问题就答非所问,大概一半的情况生成不完整的句子。
  3. 很多常见问题聊天问题,文心一言如果检索不到答案,直接就上兜底策略。
  4. 国内NLPer暂时不会失业了~
  5. 第一个吃螃蟹还是比较困难的~
  6. 我猜想效果不好的原因包括但不限于:国内中文语料库的问题(很多问题),缺乏足够并且好的RHLF,这个需要时间积累,显然赶鸭子上架是不可能的。
  7. 欢迎评论区补充。
  8. 其它方面让ChatGPT和文心一言自己来说吧:


如何申请邀请码:

**C端用户:**访问 yiyan.baidu.com,点击体验文心

**B端用户:**wenxin.baidu.com, 找到对话API申请,(我是通过B端的申请,然后由于人数限制,暂时给的个人端的权限。)

下面是文心一言发来的邀请码邮件最后一段:

本文链接:https://my.lmcjl.com/post/11919.html

展开阅读全文

4 评论

留下您的评论.