ChatGPT 是怎样炼成的?

原本链接:https://mp.weixin.qq.com/s/R8EwUppkQg4igal_5h6E0Q

一、前言

2022 年 11 月,OpenAI 发布了大规模语言模型的又一力作:ChatGPT,瞬间引爆学术界和舆论场,有人用它编写贺词发送祝福,有人用它吟诗作赋冒充诗人,有人用它编写代码ctrlcv,还有人套路它走向罪恶恐怖如斯,如此强大的 AI 对话模型 ChatGPT,作为大规模预训练语言模型的集大成者,到底是天才的一蹴而就,还是技术的厚积薄发,本文跟大家聊聊这些光鲜的背后发展历程。

二、大规模语言模型

计算机要实现自然语言处理 NLP,大致有两方面的工作:自然语言理解(Natural Language Understanding,NLU)和自然语言生成(Natural Language Generation,NLG)。

在 2017 年之前,也就是 Transformer 提出之前,大家实现 NLP 的思路,主要是在特定任务上训练「静态词向量 + RNN」,总的来说 RNN 非常难以训练,需要大量数据样本,才能获得效果稍好的模型,还会出现大量其他问题,例如梯度问题、长句子表现极差,这时就有大佬想到,如果先预训练一下 RNN,获得一个通用的语言模型,然后在下游任务上微调预训练好的 RNN,这样大概率会更容易获得有效的模型,这便是大规模预训练语言模型的初衷。

时过境迁,NLP 领域陆续出现了一些使用预训练的探索性方法,例如 Semi-supervised Sequence Learning、ULMFiT,但是模型方法真实效果一直处在不温不火的状态,直至 Transformer 提出。

2017 年 6 月,Google 在《Attention is all you need》中提出 TransformerAttention 大杀四方、惊为天物。Transformer 由输入、输出、编码器、解码器组成,其中编码器由 6 个编码器层组成,每个编码器层有两个子层:「多头自注意力层 + 规范化层 + 残差连接」和「前馈全连接层 + 规范化层 + 残差连接」,解码器也由 6 个解码器层组成,每个解码器层有三个子层:「多头自注意力层 + 规范化层 + 残差连接」、「多头注意力层 + 规范化层 + 残差连接」和「前馈全连接层 + 规范化层 + 残差连接」。传统 RNN 及其变体只能按照序列顺序来计算词之间的语义特征和句法结构,距离越远且特征损耗越大,而 Attention 能直接跨越计算任意两个词的特征联系,这种高质高效的创新设计成为了后续各种学术和工程的讨论主题。

2018 年 6 月,恰好距离 Transformer 提出一年,另一个注定伟大的公司,微软投资的 OpenAI 发布了 GPT(Generative Pre-Training)初代,模型主体采用了 Transformer 的解码器层,去除了中间子层「多头注意力层 + 规范化层 + 残差连接」,共堆叠了 12 个编码器层,Attention 头数 12,词向量长度 768,预训练数据 5 GB,参数量 1.17 亿。GPT 初代的训练核心延续了「无监督的预训练 + 有监督的微调」,在无监督的预训练阶段,使用海量无标注语料训练语言模型,生成预训练模型。在微调阶段,利用特定任务的标注语料对预训练模型做微调,以完成特定任务上的适配。

同年 10 月,Google 发布 BERT,技惊四座、一时无两。在模型结构方面,BERT 采用了 Transformer 的编码器层,堆叠了 12 个编码器层,词向量维度 768,Attention 头数 12。相比 GPT 初代,BERT 是典型的文本理解模型。BERT 之前的预训练语言模型,只能使用左边的文本,或者右边的文本,但是下游任务中文本理解需要同时考虑两边,例如在序列标注任务中,我们需要两边的词来确定中间词的词性、实体关系。针对这个问题,Google 设计了预训练任务 Masked Language Model,在训练 BERT 时,遮盖 15% 的输入单词,然后根据上下文预测遮盖词,这样就可以利用上下文进行建模,来预测被遮盖的单词,我们已经将目标词遮盖掉了,不管是从左向右看,还是从右向左看,都看不到目标词。

2019 年 2 月,OpenAI 又发布了 GPT-2,相对 GPT 初代,GPT-2 没有结构上的创新,堆叠了更多的 48 个编码器层,词向量长度 1024,预训练数据 40 GB,参数量 15 亿。总的来说,GPT-2 添加了更多的训练任务、更多的训练数据、更多的模型参数。

2020 年 5 月,OpenAI 马不停蹄又发布了 GPT-3,从 GPT 初代到 GPT-3,全部采用 Transformer 架构,模型结构没有本质的创新。GPT-3 堆叠了 96 个编码器层,Attention 头数 96,词向量长度 12888,预训练数据 45 TB,参数量达到了惊人的 1750 亿,使用了更多的训练数据、更多的模型参数。在模型训练方面,GPT-3 发生了很大变化。在 GPT-3 之前,不同的 NLP 任务需要模型适配,采用「预训练模型 + 下游任务微调」的训练范式。而 GPT-3 采用「预训练模型 + 情景学习(In-context Learning,ICL)」,在情景学习阶段,模型不需要更新参数。所谓情景学习,简单来说就是通过向模型喂入一个任务提示 (prompt),并加入少量示例,模型就可以自动生成相关任务的答案。微调需要一定数量的监督学习数据,而情景学习只需要少量甚至不需要模型适配数据。因此,对于复杂任务,我们可以使用「少样本学习(Few-shot Learning)」,即模型推理时,提供问题描述和 10-100 个示例供模型参考,模型不更新参数。对于简单任务,我们可以使用「一次学习(One-shot Learning)」,即提供问题描述和 1 个示例供模型参考,或者「零次学习(Zero-shot Learning)」,仅提供问题描述,模型也不再更新参数。很显然,这种方法更具优势。

接下来就是本文的主角 ChatGPT

三、ChatGPT 与强化学习

前面讲的 GPT-3 并不完美,在实际生产环境中,它给出的内容不一定是真实合理的,模型根本无法判断自身输出结果的正确性。同时,由于模型是基于大批量文本的预训练得来,所以具有一定的偏向性,有时生成的某些语句带有种族歧视或者暴力倾向等问题,毕竟大规模数据不是人力可以进行筛选的。针对这些问题,OpenAI 设计了 ChatGPT,并提出了 3H 优化目标:有用的(Helpful)可信的(Honest)无害的(Harmless)

在模型训练方面,ChatGPT 使用了强化学习策略。第一步,构建一个 prompt dataset,包含大量提示文本,对 GPT-3 进行监督学习微调

第二步,对第一步微调后的 GPT-3 进一步推理 prompt dataset 任务,获得多个结果,交给人工进行标注排序,用标注的结果训练一个奖励模型(reward model),用于接下来校正 GPT-3 的输出结果。在这一步中,OpenAI 雇用了 40 个外包公司进行人工标注,也就是所谓的「人类反馈强化学习」(Reinforcement Learning from Human Feedback,RLHF),在训练中使用人类反馈,以最小化无益、失真或偏见的输出结果。

第三步,再拿 GPT-3 推理 prompt dataset 任务,用第二步获得的奖励模型对 GPT-3 推理结果进行打分,也就是强化学习计算 reward,最后交给策略来更新梯度。正如通过比赛结果来判定 AlphaGo 下棋正确与否,ChatGPT 的回答是否正确,是通过奖励模型来确定。

ChatGPT 之所以会这么成功,本身依靠 GPT-3 继续精调,同时融入了强化学习,优化方向变得可控,再加 40 个外包公司的辅助 buff,拥有了大量优质的人工标注数据。

与此同时,ChatGPT 训练成本也是巨大的。尽管官方没有具体公布,我们可以参考 GPT-3 的训练所需:1200 万美刀的训练费用,31 个分工明确的协作者,28 万个 CPU,1 万个 GPU,45 TB 训练数据,维基百科的全部数据仅占 0.6 %,ChatGPT 肯定有过之无不及。如此之高的训练成本,意味着 ChatGPT 不能够被轻易复制,这不 Google Bard 首秀就不幸翻车了,市值暴跌 7 千亿。

本文链接:https://my.lmcjl.com/post/7261.html

展开阅读全文

4 评论

留下您的评论.