给AI挖坑 | 实测New Bing能否回答员工那些刁钻的问题?

ChatGPT狂飙160天,世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源


之前玩ChatGPT,发现这玩意很擅长胡说八道,比如你让它写一段发言稿,并引用鲁迅名言,于是它写下了这样一句:

在这里,我想引用鲁迅先生的名言:“立足于现在,放眼未来”

这自信地瞎掰,堪比中学时我们在作文中写下”西方有一位哲人曾经说过“。

ChatGPT不联网,它的答案是编的,而不是搜的,这其实使它不太适合作为一个问询机器人,特别是回答企业内部的一些问询。

而New Bing,是联网的!

它会用它的理解能力理解问题,去搜索,再重新组织语言。

联网的GPT能有多强?会不会掉入陷阱?

我设计了三个员工问询的场景,来做演示和验证:

  1. 休假政策问询

  2. 加班费计算问询

  3. 辞退相关法律咨询

从结果来看,现在的AI并不止善于组织语言,对文字的“理解能力”也是很超乎想象的!(AI并不一定是真正的理解了,但能给出我们喜欢的答案,让我们相信它懂得起)

场景1:育儿假政策咨询

√ 正确判断是要找育儿假的政策

√ 正确判断应该找工作地,而非户籍地的政策

× 故意选了超龄的情况,它掉坑里,并认为我的条件符合政策

√ 我反问它,它重新拿我给的条件和政策做了比较,发现并承认了之前的错误。

√ 它理解双胞胎是2个人

√ 它理解了我是想问能不能叠加

√ 对比了搜索结果和我给的条件,告诉了我答案

√ 它记得我前面说过上海户口

√ 它理解到了上海户口就是户籍所在地为上海

√ 它理解回上海工作,要搜上海的政策

√ 它理解“扣钱”说的是扣工资

× 这个回答还是很官方,并没有直接告诉我答案

场景2:加班费的计算

√ 它理解深圳相应的是中国的法规

× 今年的4月30日是休息日,不应按平日加班计算

× 第二天是五一,有可能要按节假日加班算,它没考虑到

√ 能够将搜到的文字转化为数学公式

√ 能够理解公式中的参数,能把值带入参数计算

× 我说过加班时间,不过确实说得比较隐晦,它没理解

√ 能够根据对时间的文字描述计算出时长

× 照着公式算错了

× 咋还就算不对了呢

√ 了解了节假日加班费不同!

√ 知道五一是节假日,有两下子

√ 这次算对了

场景3:劳动法规相关咨询

√ 明白了我是想问迟到扣工资是否合法

× 一、二句是矛盾的

× 没有考虑低于最低工资的问题

× 没理解我其实是想问,这是依据的什么法条

√ 多解释了一下,它懂了

√ 它懂“法条”是什么意思

√ 它搜对了

√ 它理解“到手”是在说工资

√ 联系前文,它知道我在说最低工资标准

?给了一个谨慎的结论(你们觉得这样回答回更好吗?)

√ 我只能说,有点东西!

√ 知道要用4年来算(这是什么原理?)

√ 理解了这个问题实际是在问前文中的违法解除

需要说明的是,由于每次问答GPT都要重新组织语言,因此会有同一个问题给出的回答不一致的情况。在测试中,还有更多回答错误、不妥的情况,没有贴出来。

如果作为企业内部的员工问询机器人,对于政策、法规相关的问题,其实是不容有失的,GPT也许暂时还不完全适用。

GPT有多强?能干什么?希望能帮助大家有些更直观、更深入工作场景的认识和感受。


ChatGPT狂飙160天,世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

本文链接:https://my.lmcjl.com/post/11939.html

展开阅读全文

4 评论

留下您的评论.