文|智能相对论
作者| 叶一城
野火燎原，openAI搞出的chatGPT大有当年alphaGo的架势，搅动整个AI业界春心荡漾。
从openAI的大金主微软，到昔日明星alphaGo的爸爸Google，都火急火燎地要出来表态——前者要彰显主权并在内部全面应用，后者作为全球AI领头羊怎么能失了对称的地位，要发布对应的产品。
国内科技圈自然也发扬了闻风而动的优良品格，在元宇宙概念疲软后，有关的没关的都纷纷贴上来。股市上各种妖魔鬼怪横行，对于上涨，某些董秘的回复中，否定或许还带着捡漏的窃喜。
而“AI大户”百度在宣布发布类似的产品“文心一言”后，股价也立刻上涨。
股民们冤不冤？这次可能不太冤，因为就“中国版ChatGPT”而言，不管腾讯、阿里怎么站位的，某种程度上百度确实最有技术资格，也最能从ChatGPT的落地应用中获得现实的商业价值。
判断谁能在技术的风口上占便宜，第一步永远是先看技术的本质。
ChatGPT从产品形态上，是“一个使用自然语言处理技术实现和人类互动对话的产品”，而其内在本质，就是一个预训练大模型。所谓“大”，就是在巨量到一般人无法想象的数据训练下拥有庞大的参数规模，因为“大”而见识多，博学多才，任何领域都懂，只要稍微调教一下就能出产特定场景的应用。
ChatGPT并不是一次性发展而来的，其属于openAI的一系列预训练模型，所谓GPT，即Generative Pre-Trained Transformer，就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。从已经公布的论文看，从2018年起，GPT家族已经先后拥有GPT-1，GPT-2，GPT-3，以及图像预训练iGPT等模型，而目前火得一塌糊涂的ChatGPT，更像是一个GPT-4之前的过渡版本GPT-3.5，因为强大的对话能力突然爆火起来。
不同的是，ChatGPT采用了新的指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，前者为ChatGPT带来理解能力，后者通过人工标注反馈的方式来增强模型的效果，实现GPT的进化。
在一系列进化下，ChatGPT的参数总量与GPT-3一致，达到了1750亿，实现了从GPT-2的15亿的跳跃。
说到底，ChatGPT就是一个积累已久、有着特殊训练方式的大模型，它的发展是有技术进化路线的。
而“巧合”的是，百度大力投入的产业级知识增强文心大模型ERNIE，具备跨模态、跨语言的深度语义理解与生成能力，其技术演进几乎走出了同样的进程。
早在2019年3月，百度就做出了文心 ERNIE 1.0，这一技术创新与“同类”GPT-1、BERT的差距都只有几个月，而且百度积累的大规模知识和海量多元数据，让文心得以快速发展——搜索业务给大模型所需要的庞大数据训练量带来了天然的便利。
例如，在文心的发展过程中，2021年，ERNIE 3.0大模型即拥有千亿参数；与超强算力方联合的鹏城-百度·文心作为一款融合了自然语言理解和自然语言生成的大模型，其参数量达到了2600亿，相对GPT-3和ChatGPT提升了50%。
去年9月，百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面，都有方向性改变”。据推测，百度那时候就开始做文心一言。
除了参数规模扩大、能力增强，文心与ChatGPT一样，也在适应不同需要进行技术进化。目前文心大模型总量已经有36个，以其中的知识增强轻量级大模型ERNIE 3.0 Tiny为例，该模型能够通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中，训练了10亿级、亿级、千万级不同体量大小的轻量级大模型，实现了优秀的泛化能力。
回过头来看，百度在技术上一直在做与GPT相同的事，但是晦涩的技术决定了它始终缺乏足够的曝光度，直到大洋彼岸的ChatGPT突然搞出了“大新闻”，举起了旗帜，于是，这就成了百度彰显自身技术能力的契机。
从GPT-3到ChatGPT，与从“文心”到“文心一言”（英文名ERNIE Bot）的命名方式，也“惊人巧合”——原本就是一样的技术迭代过程罢了，百度之所以3月就能马上做出来，甚至按目前的节奏内测还可能提前，原因就在于ChatGPT要的那些技术百度都有，产品上再加入对话算法等，很快就能对齐。
至少在NLP领域，目前国内还没用企业能够看齐百度。
而在现实价值方面，实际上ChatGPT做的各种对话、各种辅助功能，都与百度的业务线较为契合，无论是内部的搜索+信息流，还是对外提供的诸如智慧城市等B端解决方案中，都能得到很好的利用。
尤其是，AI与搜索的契合一直是百度近些年的努力方向，以传统精确搜索为主、“文心一言”的工具型搜索为辅的方式，也更符合未来搜索的形态。
当然，其他辅助的，比如芯片（算力相关）、开发框架（飞桨），百度也都有成熟的“基建配套”了，
不过，百度面临的问题还是那个老生常谈的话题：能不能持续投入下去，等待真正的商业价值回报？毕竟，ChatGPT吹得再响，现实的问题肯定少不了，得有一个成熟的过程。
说白了，在没有进入强人工智能时代，ChatGPT再厉害其本质也只是“小孩学舌”，学得更多当然就更像，但也只是“知其然不知其所以然”。
这不是说小孩学舌就没有用，能够学起来很像、能解决一些问题，价值也很大。只不过，带过孩子的都知道，小孩学舌在面临认知问题时，会出现很多逻辑尴尬。
目前ChatGPT在一些对话上就出现了这个问题，例如解一道简单的数学题，能给你扯一大堆，但结果就是不对。又例如很多专业领域的会话，和官样文章一样看似内容很多、逻辑严密，但就是言之无物。
一些程序界大佬惊呼ChatGPT的健壮性远超人类，要开除外包程序员，实际危言耸听。所谓健壮性无非就是设定规则的执行，就像数数，人从0数到300，肯定容易出错，机器数，当然就不会出错，没啥好惊奇的。
无论如何，ChatGPT还有一些路要走，最有资格也最能得益的百度，在风潮面前仍然要咬牙继续坚持才好，这其中的投入或许会更大。
*本文图片均来源于网络
此内容为【智能相对论】原创，
仅代表个人观点，未经授权，任何人不得以任何方式使用，包括转载、摘编、复制或建立镜像。
部分图片来自网络，且未核实版权归属，不作为商业用途，如有侵犯，请作者与我们联系。
•AI产业新媒体;
•澎湃新闻科技榜单月度top5;
•文章长期“霸占”钛媒体热门文章排行榜TOP10;
•著有《人工智能 十万个为什么》
•【重点关注领域】智能家电（含白电、黑电、智能手机、无人机等AIoT设备）、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。
本文链接：https://my.lmcjl.com/post/9104.html
4 评论