Datawhale干货 

作者：Ilya，斯坦福大学，编辑：AI商业研究所

GPT之父，OpenAI首席科学家Ilya，2015年离开谷歌成为当时新成立的OpenAI的技术主管。

llya于2015年入选MIT科技评论35岁以下35人榜单，于2022年当选皇家学会院士。

近期llya连线斯坦福大学做了一小时的深度访谈，谈到AI意识、开源与闭源、OpenAI商业化等诸多话题，本文是其核心观点的整理，有删减，供参考。

# 01 

大语言模型的工作原理类似生物神经网络

人脑是我们在世界上最好的智能例子。我们知道人脑由大量神经元组成，非常之多的神经元。神经科学家研究神经元几十年，试图精确理解它们的工作原理。

尽管我们的生物神经元的运作仍然神秘，但最早的深度学习研究者在20世纪40年代提出了一个相当大胆的推测：人工神经元(我们在人工神经网络中使用的)与生物神经元有点相似。这是一个假设。我们现在可以采用这个假设。

深度学习先驱取得的一项非常重要的突破就是发现了反向传播算法。这是一条数学方程，说明人工神经网络应该如何学习。它提供了一种方法，使用大型计算机实现这个神经网络的代码，然后有一条方程可以编程，告诉我们这个神经网络应该如何调整其连接以从经验中学习。

深度学习的大部分进展归结为：我们可以在大型计算机上构建这些神经网络，并可以在某些数据上训练它们，使这些大型神经网络做数据要求它们做的任何事情。

大型语言模型的想法是：如果有一个非常大的神经网络，可能现在离人脑不远了，我们可以训练它来从文本中的前面几个单词猜测下一个词。这就是大型语言模型的概念：训练一个大型神经网络来从先前的词猜测文本中的下一个词，你希望神经网络尽可能准确地猜测出下一个词。

回到我们最初的假设，人工神经元与生物神经元可能没太大不同。所以，如果有一个像这样的大型神经网络，可以很好的猜测下一个词，那么它可能与人们说话时所做的事情没什么不同。这就是我们得到的结果。

现在，当你与这样的神经网络对话时，它具有极佳的对下一个词的理解，它可以缩小范围，它看不到未来，但它可以根据其理解正确缩小可能性范围。能够非常准确地预测下一个词，这是AI理解运作的方式。

# 02 

让机器去学习文本中的统计相关性，就可以把这些知识压缩得非常好

我们正在学习一个世界模型，表面上看起来我们只是在学习文本中的统计相关性，但实际上，只是去学习文本中的统计相关性，就可以把这些知识压缩得非常好。

神经网络所学习的是，生成文本的过程中的一些表述，这个文本实际上是这个世界的一个映射，世界在这些文字上映射出来，因此，神经网络正在学习从越来越多的角度去看待这个世界，看待人类和社会，看人们的希望，梦想，动机，交互和情境。

神经网络学习一个压缩的、抽象的、可用的表述。这就是正在准确预测下一个词的任务中，学习的东西，此外，你对下一个词的预测越准确，还原度越高，在这个过程中你得到的世界的分辨率就越高，所以这就是预训练阶段的作用。

但是，这并不能让神经网络表现出我们希望它能够表现出的行为，你看一个语言模型，它真正要做的是回答以下问题，如果我在互联网上有一些随机的文本，它以一些前缀，一些提示开始，它将补全什么内容呢？可能只是随机地用互联网上的一些文本来补全它，这和我想拥有一个助手是不同的，一个真实的，有帮助的，遵循某些规则的助手是需要额外训练的。

这就是微调和来自于人类老师的强化学习，以及其他形式的人工智能协助可以发挥作用的地方，不仅仅是来自人类老师的强化学习，也是来自人类和Al合作的强化学习。

# 03 

深度学习的未来五到十年：训练规模见顶，垂直训练蓬勃发展

我预期深度学习会继续取得进展。有一段时间，很多进展来自规模化，我们在从GPT-1到GPT-3的过程中看到这一点最为明显。但是事情会有一点变化。规模化进展如此迅速的原因是因为人们有这些数据中心，因此，仅通过重新分配现有资源，就可以取得很大进展。重分配现有资源不一定需要很长时间，只需要某人决定这样做。

现在不同了，因为训练规模太大了，规模化的进展不会像以前那么快，因为建设数据中心需要时间。

但与此同时，我预计深度学习会从其他方面继续取得进展。深度学习的技术栈非常深，我预计会有许多层面的改进，结合在一起，仍然会带来非常稳健的进展。我猜想可能会有新的，目前未知的深度学习属性被发现，这些属性将被利用，我完全预期未来五到十年的系统将远远好于目前我们拥有的系统。但具体怎么样，我认为这有点难以回答。因为改进可能只有一小部分重大改进，还有大量小改进，都集成在一个大型复杂的工程产物中。

到一定程度，我们应该期待专业训练产生巨大影响，但是我们进行广义训练的原因仅仅是为了达到神经网络甚至能理解我们提出的问题的程度；

只有当它有极其扎实的理解力时，我们才能进入专业训练，真正从中受益。我认为所有这些都是可能有成果的方向。

# 04 

GPT很博学，而人类则擅长专业研究，可以拥有从少量信息获取深入理解的能力

直接比较我们人类和人工神经网络有点难，因为目前人类能从更少的数据中学习更多。

这就是为什么像ChatGPT这种神经网络需要如此多的数据来补偿它们最初学习能力缓慢的原因。随着我们训练这些神经网络，使它们变得更好，学习能力开始出现。

但总的来说，人类学习的方式与这些神经网络开始的方式截然不同。例如，这些神经网络仅仅在数学或编程方面非常精通，但要达到一定的水平，比如精通微积分，需要大量的教科书，人可能只需要两本教科书和200多个练习题就可以了。

目前，任何这样的神经网络在知识范围和规模方面肯定都超越人类。例如，它们在诗歌和任何话题上发言都很流畅，它们可以谈论历史事件和许多事情；但另一方面，人类可以进行深入研究。一个专家会对某个话题有深入的理解，尽管可能只读过少量文档。

# 05 

ChatGPT现在还没有意识，但可以设计实验去测试未来的AI 是否有意识

意识是棘手的，如何定义它？它长期以来一直难以定义，那么你如何在一个系统中测试它？也许有一个系统可以完美地运行，完美地按你的预期运行，但是由于某种原因，它可能并没有自主意识。

我确实认为有一个非常简单的方法，有一个实验可以验证AI系统是否有意识，但我们现在还不能运行。

但也许在未来，当AI能从更少的数据中学习得非常快时，我们可以做如下实验：

我们可以非常仔细地整理训练数据，永远不会(在训练数据里)提到意识的任何事情，我们只会说"这里有一个球，这里有一个城堡，这里有像一个小玩具"，你可以想象这种类型的数据，它会非常受控，可能会有几年的这种训练数据。

这样的AI系统会与许多不同的教师互动，从他们那里学习，非常仔细，但永远不会谈论意识，人们不会和AI谈论除了最表层的经验概念之外的任何事情。

然后在某个时候，和这个AI坐下来，说好的，我想告诉你意识，这是人所描述但不是很清楚的现象，人们对此有不同的看法。

想象一下，如果AI说"天哪，我也有同样的感觉，但我不知道如何表达"，那就有意思了，这肯定是值得(研究人员)考虑的事情。

如果AI只是被训练来处理非常平凡的数据，关于物体和移动，或者你知道的某些非常狭隘的概念。我们不提意识，但AI最终还是以我们能认出来的方式雄辩和正确地谈论，那(AI拥有意识)将是令人信服的。

# 06 

开源or闭源：AI能力较低时适合开源，AI能力足够强大时开源则是不负责任的

我认为AI面临的挑战是全方位的，涵盖了许多不同的挑战和危险，这些挑战和危险彼此矛盾。我认为开源与闭源是一个很好的例子。为什么开源是理想的？让我这么说吧，开源AI有什么好处？答案是：防止AI建设者手中集中权力。

如果你生活在一个世界上，比如只有少数公司控制这种非常强大的技术，你可能会说这是一个不理想的世界，AI应该是开放的，任何人都可以使用AI。这是开源的论点。

当然也有因为商业激励反对开源，但还有另一个长期的论点也反对开源：那就是如果我们相信，AI最终会变得无与伦比的强大，如果我们达到一个AI如此强大的程度，你可以简单地告诉它：“你能主动创建一个生物学研究实验室吗？主动完成所有的文书工作，运营工作空间，招聘技术人员，聚合实验，主动完成所有这些事情”。

当AI开始变得令人难以置信的强大，难道这也应该开源吗？所以我对开源问题的立场是：我认为可以考虑这些神经网络的能力。它们有多智能，能做多少事情。当能力较低时，我认为开源是一件好事，但在某个时候，(具体是哪个时候)可以辩论一下，但我会说，在某个时候，能力会变得如此巨大，以至于开源AI模型是明显不负责任的。

在我看来，当前AI的能力水平还不高，不至于因为安全考量而闭源模型。这种研究目前确实是竞争阶段。我认为，这些模型的能力如果继续增强，将有一天，安全考量会成为不开源这些模型的明显和直接的驱动力。

# 07 

非营利性组织性or营利性组织：需要合理的平衡

事实上，从某种意义上讲，如果OpenAI能够一直保持非营利状态，直到完成使命，那将是更可取的。

然而，值得指出的一点是，这些数据中心的成本非常高昂。我相信你读过各种AI初创公司筹集的资金数额，其中的绝大部分都流向云计算提供商。为什么会这样？原因是训练这些大型神经网络需要大量计算资源，这是很明显的。

可以看到目前学术界和AI公司之间正在发生的分化。长期以来，许多十年里，人工智能领域的尖端研究都在大学的学术部门进行。这一情况一直持续到2010年代中期。但在某个时候，这些项目的复杂性和成本开始变得非常高昂，大学无法与业界竞争，现在大学需要找到其他方式来获得(资源)。

在这种背景下，非营利组织的问题是，向非营利组织捐款的人永远不会看到任何回报，这是真正的捐赠。不管你信不信，让人向非营利组织捐款实际上要困难得多。

所以，我们在想，解决方案是什么，可以很好地采取行动？所以我们想出了一个我所知世界上所有公司结构中独一无二的主意。OpenAI 的公司结构是绝对独一无二的。OpenAI 不是一家营利性公司，它是一家限制利润的公司。我想解释这意味着什么。这意味着OpenAI的股权更像债券而不是正常公司的股权。债券的主要特征是一旦支付就消失了。换句话说，OpenAI对其投资者的义务是有限的，而不是正常公司对其投资者的无限义务。

萨姆·奥尔特曼没有股权，但其他创始人有。但也是有限制的。它与正常的创业公司股权不同，但也有一定相似之处，比如越早加入公司，限制越高，因为需要更高的限制来吸引初期投资者。随着公司继续成功，限制会降低。

这为什么重要？这是因为这意味着当公司向投资者和员工支付完所有义务后，OpenAI会再次成为一家非营利组织。你可能会说这完全疯狂，这不会改变任何事情。但值得考虑的是我们期望什么，更重要的是考虑我们认为AI将成为什么。

我认为OpenAI实现其使命，向投资者和员工支付义务，在计算机变得更强大的时期成为非营利组织，这时经济动荡会很大，这种转变将非常有益，这并不令人难以置信。这是限制利润与非营利的答案。

# 08 

AI需要走向有明智政府监管的世界，但是并不意味着要“放慢进步”，而是“让进步更合理”

的确，AI将变得极其强大和极其变革性。

我确实认为，我们将要走向一个有明智政府监管的世界，这里有几个维度。我们希望生活在一个有明确规则的世界，例如训练更强大的神经网络。我们希望对这些神经网络今天能做什么，以及我们预期在一年内或训练完成时能做什么进行仔细的评估和预测。

理性地讲，我不会用“放慢进步”这一词，我会用“使进步合理”来描述。这样，在每一步中，我们都做了功课，事实上，我们可以作出一个可信的说法，即“我们训练的神经网络系统正在做这件事，这里是所有的步骤，它已经被验证或认证。”我认为这就是我们要走向的世界，这也是正确的。

# 09 

OpenAI的KPI，首要是技术进步

最神圣的关键业绩指标，我认为这也是不同人会给你不同答案的问题类型。但如果我真的要缩小范围，我会说，有几个真正重要的KPI，其一无疑是技术进步。

我们做了好研究吗？我们对我们的系统有更好的理解吗？我们能更好地训练它们吗？我们能更好地控制它们吗？我们的研究计划得到很好的执行吗？我们的安全计划得到很好的执行吗？我们对此多么满意？我会说这将是我对主要KPI的描述，做一项很好的技术工作。

当然，还有产品方面的事情，我认为这很酷，但我会说，核心技术才是OpenAI的心脏，关于这项技术的开发，控制和操纵。

# 10 

给年轻人的建议：相信直觉，做独特的自己

我认为，一般来说，最好利用自己独特的倾向。你知道，每一个人，如果你想想人可能拥有的一系列倾向、技能或天赋的组合，这样的组合非常罕见。不管你选择何种方向，利用这一点都是非常好的主意。

关于人工智能研究，我可以说一些东西，但是你要倾向于你自己的想法，真正问自己你能做什么，是否有些对你来说完全明显的东西，让你觉得为什么其他人都没有理解。如果你有这种感觉，这是一个好迹象，这意味着你可能(可以做些事情) 我们要倾向于这一点，探索它，看看你的直觉是真是假。

我的导师 Hinton说过这么一件事，我真的很喜欢，他说你应该信任你的直觉，因为如果你的直觉很好，你会走得很远，如果不好，那也没办法。

至于创业来说，我觉得这是一个你的独特视角是否更有价值甚至至关重要的地方。也许我会解释为什么我认为在研究中(这种独特视角)更有价值，在研究中它也非常有价值；但是在企业中，需要利用你独特的生活经历，你看到了哪些东西，看到哪些技术，看看你是否可以聚焦在某个方面，然后真的去做。

干货学习，点赞三连↓

本文链接：https://my.lmcjl.com/post/9595.html