高盛首席工程师谈银行在人工智能方面的真实举措 - 彭博社

高盛在美国纽约的总部。

摄影师：Jeenah Moon/Bloomberg 关于生成性人工智能有很多炒作，许多人此时已经与ChatGPT、Claude或Gemini进行了互动。询问这些大型语言模型创作歌曲恶搞或写故事是很有趣的，但大多数普通用户可能并不担心版权、他们输入平台内容的敏感性，甚至是输出答案的准确性。玩弄这项技术就是有趣。然而，对于大型公司来说，风险很大。如果你是一家大型受监管的银行，数据隐私和输出错误的担忧就更加紧迫。在这一集中，我们与高盛首席信息官Marco Argenti讨论了银行如何在人工智能中平衡风险和机会。Argenti曾在亚马逊网络服务工作，谈到了高盛自己内部人工智能工具的发展，这项新技术对高盛工程师和其他工作的意义，什么样的提示是好的提示，以及更多内容。此转录经过轻微编辑以提高清晰度。

播客的关键见解：高盛首席信息官的职责 — 04:05高盛如何看待生成性人工智能 — 08:40高盛的人工智能模型旨在做什么 — 13:45监管和信息安全如何影响高盛的人工智能使用 — 20:12物理建设限制对银行人工智能的影响 — 24:46GPU会永远是人工智能软件的基础吗？ — 29:48华尔街对开源软件使用态度的变化 — 33:57高盛如何吸引人工智能开发者 — 38:18人工智能对高盛员工整体的招聘影响是正面还是负面 — 40:35人工智能如何改变高盛其他工作的职责 — 43:19什么样的提示是好的人工智能聊天提示 — 45:39

---

**特雷西·阿洛威 (00:18):**你好，欢迎收听另一集 奇异的交易 播客。我是特雷西·阿洛威。

**乔·韦森索尔 (00:23):**我是乔·韦森索尔。

**特雷西 (00:24):**乔，到目前为止你最喜欢的 ChatGPT 或 Claude 提示是什么？

**乔 (00:29):**你知道，这很有趣，因为我和它们玩得很开心，同时我也用它们来处理一些严肃的事情。所以我会上传会议电话记录，然后说，‘告诉我这家公司对劳动市场指标的看法，’或者类似的事情。然后这对我来说非常有用。

**特雷西 (00:47):**等一下，你真的觉得这比仅仅搜索‘劳动’或‘工作’更有效吗？

**乔 (00:51):**哦，是的。

**特雷西 (00:52):**我不这样认为。我讨厌上传东西，因为你只能分段进行。

**乔 (00:56):**不，什么？特雷西，不，我来教你怎么提示。

**特雷西 (01:01):**好的。

**乔 (01:02):**不，我从各种 AI 工具中获得了很多专业用途，但我也知道，和它们玩得很开心。甚至还有一首歌，我不打算说是哪一首，我写的。我没有使用歌词……

**特雷西 (01:18):**哦，你用了什么？它给你一个实际的旋律吗？发生了什么？

**乔 (01:20):**不，所以有一首我喜欢的歌，好吗？这首歌的标题有点像一个双关语。所以我请ChatGPT想出另一首有类似转折的歌，基于那首歌的标题。我基本上需要一个歌曲提示的想法。

**特雷西 (01:43):**这打开了一个大麻烦。这实际上是我们今天要讨论的内容的完美引入，因为对于你我来说，使用像ChatGPT这样的东西，我们并没有像真正的公司或大型企业那样的担忧。对我们来说，答案是否正确并不重要。我的意思是，理想情况下我们希望它是正确的，但如果我只是问一些愚蠢的问题，ChatGPT给我的回答其实并不重要。而且，版权问题也不太重要。所以我们不在乎它输出的内容归谁所有。我们也不在乎我们输入的内容归谁所有。但如果你是一家公司，你对生成性AI的思考就会完全不同。

**乔 (02:28):**我只想说一件事，就是……

**特雷西 (02:30):**为了你的辩护，好吧。为自己辩护，乔。

**乔 (02:32):**不，不。我甚至不想为自己辩护。如果我上传，比如说，麦当劳的收益报告，然后我问，‘麦当劳对劳动市场有什么看法？’那么有一些引用，我总是会回去检查那个引用是否真的在里面。所以我并不是盲目依赖它。我也会做自己的工作等等，但确实如此。所以我可以说，我从ChatGPT或Claude或其他任何地方获得了巨大的帮助，它对我非常有用，但有时它会犯错误。如果你考虑在企业世界中部署AI，那么也许1%的错误率，或者1%的幻觉，或者你想称之为的任何东西，都是完全不可接受的，这种风险水平几乎使其无法用于专业目的。

**特雷西 (03:20):**绝对如此。当然，关于人工智能的另一个问题是，关于它究竟会有多大的变革性，仍然存在着持续的、非常激烈的辩论。所以你我在某些情况下将其作为一种生产力工具，或者可能用来生成歌词……

**乔 (03:36):**我没有用它来写歌词！

**特雷西 (03:37):**但是，这项技术的真正使用案例是什么？对此仍然有很多争论。因此，我很高兴地说，我们确实有完美的嘉宾。我们将与一位在非常非常大的金融机构实施人工智能的人交谈。我们将与高盛的首席信息官马尔科·阿根提交谈。马尔科，非常感谢你来参加 奇异的交易。

**马尔科·阿根提 (04:03):**谢谢你邀请我。

**特雷西 (04:05):**马尔科，告诉我们高盛的首席信息官做什么。每当我看到CIO时，我总是会想到首席投资官作为一种……

**马尔科 (04:13):**是的。这很令人困惑。

**特雷西 (04:13):**是的。那么另一个CIO做什么呢？

**马尔科 (04:17):**所以上周我在意大利探望我的母亲。她83岁，显然对技术或银行业了解不多。于是她问，‘你在高盛做什么？’我说——你知道，我只是想简化一下——我说，‘我确保打印机不会缺纸。’有趣的是，CIO的工作传统上与“IT”这个词相关联。而IT，我告诉你——和任何技术人员谈谈——他们不想被归类为IT。

**乔 (04:46):**对，因为那些是……你会联想到，那些人会看看以太网电缆是否正确插入。

**特雷西 (04:51):**那些人会告诉你重启你的电脑。

**马尔科 (04:53):**是的，我是说，我对IT有很大的尊重，但通常你去IT部门是因为某些东西不工作，好吗？所以这很像后台工作，而吸引我来这个工作的原因——我在这里已经五年了，这是我第一次做像CIO这样的工作。在此之前，我做的更多是，比如说，创造技术等等，以及服务。我可以多谈谈这个。但实际上CIO的角色已经发生了很大的变化。现在真正的问题是，‘我们如何实施技术以实现我们的战略目标，并且真正有所区别？’而且它真的坐在公司的战略桌上。所以今天我们生活在一个世界里，显然我们想做的很多事情，或者每个公司想做的事情，实际上是由你在技术方面的能力决定的。所以我认为CIO的角色已经发生了很大的变化。现在，我会将其定义为，通常是定义公司的技术战略，并确保你在工程团队中拥有正确的文化，以便执行这一点。

**乔 (05:58):**日常工作是什么样的？像，典型的一天是什么样的？你到办公室后，然后你做什么？

**马尔科 (06:04):**嗯，我的意思是，我到办公室后，通常像其他人一样，你知道，我每天和所有人交谈。所以我和人们交谈，你知道，我们有一系列的会议，一个接一个。我有团队来找我，或者是定期安排的会议，或者是请求讨论某个主题的会议。你知道，我们就这样进行…

**乔 (06:23):**有白板吗？

**马尔科 (06:25):**嗯，现在在Zoom时代，我想，仍然，你知道，我们有一个全球分布的团队，所以我们很多人不在同一个办公室。因此，我们像其他人一样使用虚拟白板。但我想说，你知道，我在加入高盛时尝试做的一件事，作为文化议程的一部分，就是强调叙事和书面文字的重要性，而不是，您知道，PowerPoint和口头交流。这是我在亚马逊多年中学到的东西。

**特雷西 (06:54):**哦，对。你在AWS。

**马尔科 (06:55):**我在AWS，而你在那里学到的一件事是，刚加入亚马逊的任何部门时，前几次会议有点震惊，因为没有人说话。每个人开始阅读。你会阅读大约30分钟或45分钟。如果你是文件的作者，你基本上只是坐在那里，试图看着人们的脸，理解他们对你文件的看法。有时候，你知道，如果你和杰夫·贝索斯或其他人在一起，那可能会非常，非常可怕。因此，这种从人们交谈、评论PowerPoint的文化转变，有时讨论是由谁的个性更强而不是谁的想法更伟大来驱动的。我尝试改变的一件事是，我们今天进行的许多会议实际上以阅读文件的方式开始。

**马尔科 (07:49):**所以我现在阅读很多文件，就像我在亚马逊时一样。我会说大约30%或40%的会议是以这种方式开始的。我认为人们喜欢这样，因为它打破了语言的障碍——对于像我这样英语显然不是母语的人来说。这打破了，有时有些人比其他人更害羞等等。所以人们把这视为一种包容的机制。回到你的问题，假设30%或40%的会议实际上现在是通过我们一起阅读文件开始的，然后对其进行评论并做出决定。

**乔 (08:19):**我可以说，特雷西，我一直认为更多的会议应该以阅读开始，因为你去听季度电话会议或美联储活动时，有人只是读出准备好的文本。就像，让每个人都先阅读，然后直接进入讨论，让每个人先阅读。你不需要有人站在那里讲述纸上写的内容。无论如何，稍微发发牢骚。

**特雷西 (08:40):**我同意。我同意我们可以减少会议的时间。是的。那么，谈到会议和决策过程，跟我们谈谈高盛是如何决定接触生成性人工智能的。那里的决策过程是怎样的？开发过程呢？你知道，我们会谈到你们正在开发的内容，但你们最初是如何接触这个的？

**马尔科 (09:03):**所以我认为我们最初的做法真的意识到我们不知道的事情比我们知道的事情要多得多，因为这是一件非常新的事情。即使对于像我们这样的公司，已经在机器学习和传统人工智能领域工作了几十年，这感觉也非常不同。

**Tracy (09:24):**我们在谈论什么样的时间框架？就像，是否有一种重大的意识到这是我们需要关注的事情？

**Marco (09:31):**是的，因为我很幸运能够进入GPT的非常早期版本，甚至在它被称为chatGPT之前。所以第一个版本基本上是完成一个句子。它甚至不允许你进行互动聊天。你只需粘贴一段文本，它就会完成那段文本。因此，我开始用一堆东西这样做。然后我看到这种持续的质量与你实际输入的部分几乎无法区分。因此，我们开始显然在彼此之间交谈，但也与行业内的其他人交谈。我们很快意识到，这将是A，某种非常不同的东西，但B，也可能对我们所做的事情产生相当深远的影响。因为归根结底，我们是一个纯数字业务。我们不弯金属，我们不使用高温。我们实际上没有物理学。

**Marco (10:26):**所以这完全是关于我们如何服务客户。这完全是关于我们有多聪明。这完全是关于我们如何处理大量信息。这完全是关于你知道的，我们如何以一种有时带有观点的方式分析数据。我们形成自己对市场的看法，我们形成对投资的看法，等等。因此，鉴于这个AI很早就显示出能够综合和总结非常复杂的信息集，同时识别模式，我们认为这可能是我们绝对需要关注的事情。因此，考虑到这一点，我们决定在早期做的一件事是建立一个结构，我可以更多地谈论这个，但围绕这个建立一个结构，以便我们可以以一种安全和受控的方式进行实验。

**Tracy (11:17):**对。所以你决定开发自己的高盛AI模型，而不是使用ChatGPT或Claude，或者从现成的产品中获取。

**Marco (11:27):**实际上，最初我们确实考虑过这个，但很快我们决定，使用现有模型会更好，顺便说一下，这些模型的迭代速度非常快，但我们需要将它们放在一个安全的环境中使用。而且它们实际上会给我们提供最可靠的信息，因为就像你之前提到的1%的不准确性——即使是0.1%的不准确性也是完全不可接受的。此外，还有很多潜在的问题，比如，使用了什么数据进行训练？而且，关于什么是可以安全使用的，什么是不可以的，存在很多不确定性。

**Marco (12:16):**所以我们决定围绕模型构建一个平台。可以把它想象成你有一个核反应堆。你知道你现在已经发明了裂变或聚变，并且可以从中产生大量的能量，但你需要将其控制并以某种方式引导。因此，我们构建了这个GS AI平台，它本质上是将我们选择的多种模型放在一个完全隔离、完全隐蔽和从信息安全的角度完全安全的环境中。抽象出一些使用模型的方法，以便我们的开发人员可以互换使用这些模型，然后创建一套标准化的方法，例如，使用检索增强生成来提高准确性，访问外部或内部数据源，应用权限控制，以便在私有侧看到的信息与在公共侧看到的信息不同。然后，在此基础上，构建一个开发者环境，使人们能够非常轻松地将AI嵌入到他们自己的应用程序中。所以想象一下，我们有一个很好的引擎，我们决定围绕它构建一辆很好的汽车。

**乔 (13:45):**你在模型中放入了什么？因为我想象在像高盛这样的银行，你知道，你有很多数据，但你一定有大量的非结构化数据。银行家与客户之间的对话，还有其他类型的会议，你们的会议，以及在会议中说出的那些话，可以以某种方式进行综合。在这些早期的迭代中——你知道，我上传了一份电话会议的记录，然后我问一个问题——你在上传什么？你拥有的非结构化数据是什么？或者问题是什么？你从你们内部的知识海洋中放入了什么？

**马尔科 (14:23):**所以我们做的第一件事就是使用平台和模型从公开可用的文档中提取信息。这是最安全的方式。案件的公开文件和所有的排队，显然还有收益，并让我们的银行家能够提出非常复杂的多维问题，围绕所报告的内容，交叉参考以前的报告，交叉参考任何公告、任何收益电话会议的记录，所有这些都是存在的，但很难整合在一起。因此，这演变成了一个工具，基本上我们正在使用，并且我们现在正在推出作为我们银行家的助手，以便他们能够服务客户或回答客户的问题，甚至是他们自己的问题，所需时间只是以前的一个小部分。

甚至生成你知道的文件，然后可以分享给客户等等。当然，我们始终有一个规则，就像你驾驶一辆具有某种自主能力的汽车时，你总是要把手放在方向盘上。我们的规则是，始终需要有一个人参与其中，好吗？所以这种方式实际上很有趣，因为我们发现你不能仅仅把某些东西塞进模型中，然后假装模型会立即给你答案。为什么？因为模型本身，你知道，它们本质上应用了一种随机或统计的方法来理解它们需要说的下一个词。因此，无论你放入的材料有多好，总会有某种程度的变异性。

几乎就像你插入的文档与我称之为“阴影”的所有知识之间的交集，模型之前见过的所有事物的知识。因此，我们真的完善了这一点，你知道，有两种广泛使用的技术来提高答案的准确性。一种是处理这些模型表示知识的方式，这在技术上被称为嵌入。顺便说一下，大家都在谈论嵌入，但很少有人……实际上，我花了一段时间才理解得很好。嵌入只是模型参数化并创建它们所看到的事物描述的一种方式。所以如果我在我面前看到一部手机，手机的嵌入可能是，它是一个电子产品。是的，一个。它绝对是一个电子产品。可以吃吗？零。你真的不能吃它，然后你有所有这些参数。这几乎就像20个问题，你知道吗？我给你所有这些问题，然后你最终理解有一部手机，这就是嵌入的意义。它几乎就像20个问题，[但实际上]，而不是20个，可能是2000个[或] 20000个。

然后你有RAG，即检索增强生成，这实际上很有趣，因为你告诉模型，不要使用它自己的内部知识来给你答案，有时，正如我所说的，这就像现实的表现，但往往不准确，你指向文档中更可能回答你问题的正确部分，好吗？这就是关键。它需要指向正确的部分，然后你会得到引用。因此，这花费了很多努力，但我们在许多情况下都在使用它，因为我们将用例从纯粹的银行助手扩展到更像是，好的，文档管理，你知道，我们处理数百万份文档。想想信用文件、贷款文件、确认……

**特雷西 (17:52):**像交易确认这样的东西吗？

**马尔科 (17:53):**每个文档都有一个叫做实体提取的任务。所以你需要从文档中提取信息，然后将其数字化，然后以某种方式建模。因此，生成性人工智能在提取信息方面做得非常好——这是一个有趣的概念——因为你不必实际告诉一个固定的模式。你可以说，给出很多例子，然后人工智能会从那个模式中找出答案。我最喜欢的一个例子是这样的。假设我的电话号码是 555-321-3050。有人在文档中写的时候，把零写成了 O，好吗？你甚至可以用 GPT 来测试自己。如果你给一个用 O 代替零的号码，然后问 GPT，“这个实体可能有什么问题？” GPT 会告诉你，“嗯，这看起来像是一个电话号码。那是一个 O，通常在电话号码中是没有的。很可能这是正确的电话号码。”

现在，没有人写软件来进行模式匹配。想象一下……在传统的实体提取方式中，有开发人员，他们在编写规则，他们说，好吧，数字需要是 10 位等等。人工智能自己找出了最可能的规则。这就是关键。它有常识，而这种常识在处理包含各种写法的数百万个文档时——想象一下你需要编写的所有规则的复杂性，每个银行都有同样的问题——这极大地简化了事情，因为它能够自己找出最可能的。因此，这种情况演变成了为银行中与工作流程文档相关的每个人节省了大量时间。这是我们早期发现的一个非常有趣的发现。因此，再次总结一下，模型是智能的原材料。你需要以某种方式引导它们，你需要指导它们，你需要指示它们，你需要将它们放在一个能够最大限度发挥其作用的环境中。这就是我们一直在关注的内容。

**特雷西 (20:12):**回到你之前使用的类比，这个核反应堆的概念以及围绕它构建的保护壳。我想，作为高盛并与人工智能合作的一个复杂因素是，你们是一个受监管的金融实体。这种额外的复杂性如何影响你们对人工智能的使用？是否有额外的数据考虑或信息安全方面的考虑？

**马尔科 (20:40):**我认为这是一个很好的问题，因为显然我们生活在一个受监管的世界中。事实上，我必须告诉你，在这种情况下，监管实际上帮助我们思考所有可能的未知，或者说，正如我所说的，这仍然是一个没有人完全理解的事情。因此，我们所做的是在模型的使用上建立治理，并且在我们可以在模型上实施的用例方面进行治理。每个银行都有一个称为模型风险的职能，传统意义上，模型是任何自动运行的决策或算法，例如定价，或者说，每个银行在风险计算等方面都有很多这样的传统。所以这就是传统的模型风险。我们很好地利用了这一非常成熟的模式，它也有自己的第二和第三道控制线，以及监督来验证我们在人工智能方面所做的事情。

所以有一个治理部分，我们在早期就建立了这一点。我们有一个人工智能委员会，审视商业案例，我们是否应该这样做？然后我们有一个人工智能控制和风险委员会，审视我们将如何做到这一点。然后这两个委员会需要在我们可以发布用例之前实际结合在一起。当然，我们在准确性来源方面做了很多工作。在某种程度上，你将输出与数据来源连接起来，以及谁可以实际看到这些数据，我们称之为授权。我们与监管机构密切合作完成了这一点。因此，我认为，简而言之，我们从一开始就将所谓的负责任的人工智能放在首位。事实上，我们将所有这些控制嵌入到一个单一平台中，这确实帮助了我们。这就是我们的员工在高盛内部使用人工智能的方式。

**特雷西 (22:31):**从技术角度来看，我对此非常感兴趣，但你能多谈谈那种互操作性方面吗？你有一池高盛的数据，显然你不太想与外部实体分享。那么，如果你在使用，比如说，ChatGPT或Claude之类的AI模型，你是如何将这些数据接入的呢？

**马尔科 (22:52):**是的，我们有两种方法来做到这一点。我们以一种方式使用大型专有模型，你知道，我们与微软合作过，我们与谷歌合作过，我们有非常强的合作伙伴关系。因此，基本上，有一些控制措施可以保证没有人可以访问我们输入到模型中的数据。数据不会留下任何副作用，所以不会被保存到任何地方。它只保留在内存中。模型是完全无状态的，这意味着数据通过后模型的状态不会改变。因此，没有训练，也没有对这些数据进行任何处理。此外，操作员访问，即谁可以实际访问这些机器的内存，是受到限制和控制的，并且需要与我们达成一致。所以想象一下，为这些模型加上一个保险库。但即便如此，真正的、非常机密的专有内容等，我们也喜欢采用不同的方法，使用可以在我们自己环境中运行的开源模型，好吗？我们非常喜欢许多开源模型，我必须说我们特别喜欢的是Llama，实际上是Llama 3和Llama 3.1，尤其是现在……

**乔 (24:01):**那是由Facebook开发的吗？

**马尔科 (24:02):**没错。在Meta上。所以他们最近宣布了LAMA 3.1，版本有4050亿个参数。所以它相当大，似乎表现得很好……你知道，和那些大型基础模型之间的差距现在非常非常小。因此，我们在自己的私有云中运行它，可以这么说，使用我们拥有的GPU，并且用留在那个环境中的数据进行训练。所以想象一下，我们的方法是，好的，这些数据有一种敏感性评级。每个数据都需要被保护，因此，我们在整个过程中都使用这些安全措施。但是对于超级超级超级机密的东西，你知道，我们喜欢在自己的环境中处理。

**乔 (24:46):**既然你在谈论建立自己的环境，而这是我们在播客中讨论过很多的内容，硬件限制、能源限制等等。这在你的世界中是如何体现的？在高盛构建计算平台时，这些物理现实世界的限制是怎样的？

**马尔科 (25:05):**嗯，最初我们认为，也许我们可以在自己的数据中心托管这些GPU，然后立刻就遇到了考虑因素，比如，首先，它们产生很多热量。其次，它们消耗很多电力。第三，它们可能会失败，因为你知道，如果这些考虑没有得到妥善处理，失败的几率是相当大的。然后，D，它们需要非常特殊的，例如，互连和高速带宽。因此，我们最终的决定实际上是将它们托管在我们使用的一些超大规模服务商中，但在他们自己的虚拟私有云中使用它们。所以这些机架基本上是我们自己的。如果你问我更一般的问题，就是，嘿，世界在这方面的未来是什么？好的。

所以现在，有两个非常快速竞争的力量。一种是推动更多的消费，另一种是推动更多的优化。好的。我可以谈几分钟关于这个问题。对于更多的消费，我的意思是，扩展模型的两个维度中，一个最重要的显然是提示或上下文的大小，好的？而且有相当好的证据表明，上下文越大，这实际上就像这些模型的记忆，而你在数据上推理的能力也越强，这已经从数千增加到数万，现在是数百万。而且有一个预测，你知道，你听到一些非常知名的人说可能会有万亿的提示，能力与提示的关系是平方关系。因此，这指向了能源和GPU功率的消费，这将继续以指数级上升。

与此同时，我们在优化技术方面也看到了很好的结果，例如量化，从16位减少到8位再到4位精度；拥有更小的模型；使用所谓的窗口注意力，这意味着你知道你只能对上下文的某些部分给予更多关注，而不是全部，因此你可能需要一个更小的模型。所以我看到这两者朝着两个相反的方向发展。看到这一点如何演变将会非常有趣。我会说在短期内，我确实看到这个趋势将继续上升。而让我最着迷的事情之一是，从一个版本到另一个版本，最显著的区别是推理能力和实际上提出逻辑逐步指令或逐步思考链的能力，输出将会是什么。因此我们决定，好的，首先，我们需要获得最强大的GPU。其次，我们需要将它们托管在一个实际上允许在带宽、功耗等方面实现最优功能的环境中。同时，我们也一直专注于优化算法，以便我们能够真正从中获得最大收益。

**特雷西 (28:03):**为了进一步了解这个问题，您与云服务提供商的对话目前是什么样的，当您试图获取更多计算能力或更多空间、更多机架时？对您来说是否有所不同，因为您曾在AWS工作，也许您可以直接打电话给那里的某个人，告诉他们‘我们想要更多的空间和服务器’？还是您发现自己在某些时候可能受到可用电力的限制？

**马尔科 (28:29):**我希望情况是这样的，但我不能随便打个电话就得到我想要的东西。不过到目前为止，我必须说，显然因为我们是这些公司的一个非常好的客户，而且我们在投入生产的用例上非常挑剔，我必须说，正如我之前所说的，想想这一点。如果你看看今天的资源消耗，消耗更多资源的是那些实际上在训练自己模型的人，好吗？最初，每个人都试图从头开始进行全面训练，这需要消耗绝对的资源，如果这是100，我们进行微调，即对现有模型的适应，可能在资源消耗上是1到100或更少。因此，由于我们使用的技术，以及我们决定真正专注于微调我们的RAG而不是全面训练，我们实际上没有遇到任何限制。而且，我必须诚实地说，我们很早就购买了我们的GPU，所以可能当时没有像今天这样疯狂的情况。因此，这可能被证明是个好主意。

**乔 (29:48):**你知道，Nvidia非常庞大。每个人都希望通过提供一些更便宜的产品来让Nvidia的市值成为他们的市值。我们采访了一些有半导体初创公司的家伙，他们将专注于大型语言模型初创公司。我们知道，例如，谷歌有TPU，他们自己的芯片。你能想象出一个路线图，GPU不是AI的主导硬件吗？

**马尔科 (30:14):**嗯，这简直就是一个万亿美金的问题。

**乔 (30:17):**是啊，这就是我问你的原因。

**马尔科 (30:18):**但我不是分析师，我只是一个技术人员……记住，我是那个确保打印机正常运行的人。

**乔 (30:23):**我认为你可能比分析师更适合问这个问题，因为你实际上是做出购买决策的人。

**马尔科 (30:29):**好的。那么我会给你一个答案。所以你必须区分一下，实际上我们需要考虑两个维度。一个是训练，另一个是推理，好吗？这是第一个二分法。对于训练，目前，可能没有比GPU更好的东西，好吗？因为当你训练一个模型时，软件或PyTorch或其他框架，需要将你所有的GPU视为一个集群。而不仅仅是GPU本身，Nvidia在这方面做得非常出色，实际上是让它们与一种叫做CUDA的虚拟化软件协同工作，这在Nvidia GPU上运行，是一款非常出色的软件。它成为了这一领域的标准。而且，因为你知道，当你试图训练那些极其庞大的模型时，GPU所带来的性能溢价是你非常非常想要的。

所以训练部分，我很确定这段时间将主要由GPU主导。但是，随着这些模型的使用，显然，趋势会转向推理，也就是现在你有一个模型，它是一堆权重，你只需要计算一堆矩阵乘法。因此，我认为加速器和专用芯片实际上将发挥非常重要的作用。所以你可以想象，你从一个每个人都造车而不是很多人开车的世界，进入一个大多数人都会开车的世界。还有另外两个维度，即由客户端托管的模型和由超大规模提供商托管的模型。正如你所知道的，今天，我可以拿一个像Llama的模型，我可以把它放在我自己的环境中。

**乔 (32:11)：**你可以在Macbook上运行它。

**马尔科 (32:12)：**我可以在MacBook上运行它，或者我可以在我自己的数据中心和我的GPU上运行它，考虑到我习惯使用GPU，考虑到这些是我们可以购买的，考虑到CUDA是开发者所熟知的，等等，大概率会使用这个。这对Nvidia来说是个好消息。但还有另一种使用这些模型的方法，就是让别人为我托管它们，我只需通过API访问它们。这就是像Amazon Bedrock这样的服务所做的。你基本上选择自己的模型，然后通过他们提供服务。当你这样做时，你并不真正知道底层是什么。你不知道它是GPU，还是加速器，还是亚马逊自己的芯片，还是谷歌自己的芯片，等等。因此，现在真正的问题，这就是为什么这是一个万亿美金的问题，是大多数人会通过托管环境使用这些模型，在这种情况下，超大规模提供商将对他们底层使用的内容有很大的自由度，并且很可能会进行垂直整合，还是他们会以更自助的方式自己使用它们？在这种情况下，这些加速器主导的可能性就小得多。

我们目前处于一种平衡状态，因为我们有自己使用的工具，就像我所描述的那样，同时我们也使用托管模型。那么这将走向何方呢？很难说，因为我认为这取决于模型的演变，以及哪些模型将作为开源提供，您实际上可以自己托管。我认为现在最大的问题之一是，开源模型是否会成为与托管模型完全相当的替代品？与基础专有模型相比？考虑到Llama 3.1，这个答案似乎更可能是肯定的。

**Tracy (33:57):**我实际上有一个关于这个问题的疑问，那就是，您认为华尔街对开源的态度随着时间的推移发生了变化吗？我问这个问题的原因是，因为现在似乎这是生活的事实。每个人都在使用开源，无论您是高盛还是其他地方。但我记得，您知道，就在2012年，我记得德意志银行有一个名为Load Stone Foundation的开源项目，他们当时说，‘哦，我们应该停止浪费自己的资源，开发自己的代码和软件，我们应该把资源集中在一起做开源。’他们实际上不得不进行游说，最终没有成功，但他们试图让华尔街的所有银行共同合作进行开源。如今，似乎发生了这种显著的文化转变。这甚至不是一个问题。

**Marco (34:47):**所以一般来说，我对我的团队的指导是，除非必要，否则不要构建任何东西。不要认为仅仅因为你是聪明人，就能比其他人更好地构建软件。也许你可以，但我们专注于构建对我们真正有差异化的东西是件好事。我认为开源软件的使用，我们非常支持，也是一个很好的对冲，关于您知道的，使用哪些供应商，因为它确实大大减少了供应商锁定。当然，开源软件，正如您所知，是一个巨大的长尾。有数以百万计的开源软件。因此，我认为在使用开源方面有最佳实践。这些最佳实践是，您需要对开源进行审查，或者进行技术风险审查，或者安全审查，或者几乎所有的审查，就像您自己构建的一样。其次，倾向于集中在更大、社区支持良好的开源项目上。因此，我的哲学是支持开源，但您需要以最真实的方式拥有它，因为您实际上通常是需要支持它的人。因此，真正要在这方面建立知识。

**特雷西 (36:02):**现在你可以让AI为你运行代码并检查两者。

**马尔科 (36:06):**是的。那么，好吧。这当然引出了一个问题，如果你问每个人，至今为止，AI带来的最大收益是什么？大多数首席信息官会告诉你是在开发者生产力上。我认为这对我们来说，是我们实际扩展的第一个项目。我必须说，今天，几乎每个高盛的开发者都配备了生成式AI编码工具。你知道，我们有12000个开发者。所以我们还没有启用那些使用我们自己专有语言Slang的开发者。但其他所有人都有AI工具，结果将是相当非凡的。

**乔 (36:40):**你如何衡量这一点？有哪些数字，或者你会如何描述结果？

**马尔科 (36:44):**所以我们根据多个指标来衡量，比如说，从你开始冲刺到你实际提交代码，或者完成任务所需的时间，我们通过提交次数来衡量，也就是说你实际将代码投入生产的次数。我们通过缺陷数量来衡量，在这种情况下，比如说与部署相关的错误。所以这同时是速度和质量的指标。我们看到的生产力提升范围从10%到40%。我会说，今天我们大概平均看到20%。现在开发者并不是将100%的时间都花在编码上，对吧？他们可能花50%的时间在编码上。那么，你问的问题是，他们用剩下的时间在做什么？其实还有很多其他活动，比如文档编写、部署、编写部署脚本、进行各种测试等等。所以这通常被称为软件开发生命周期。

所以我们看到净收益为10%，但有趣的是，那些我们围绕着构建的人工智能，开始超越编码。它们开始帮助你编写正确的测试，编写正确的文档，甚至在找出算法，或者例如，减少或最小化部署问题的可能性，为你编写部署脚本。因此，随着这一点的扩展，我们将更接近100%，因此我们可能会更接近20%。对于我们这样规模的组织来说，这是一个相当巨大的效率提升。

**乔 (38:18):**我可以问你一个关于招聘开发者的问题吗？这些年来，我大概读了上百篇关于华尔街与科技公司竞争招聘开发者的文章。比如，“哦，他们必须有乒乓球桌……”

**特雷西 (38:27):**劳埃德·布兰克费恩曾经说他们是一家科技公司。

**乔 (38:30):**是的，你必须有乒乓球桌和免费的午餐，让人们穿运动鞋，拥有所有这些东西。但现在似乎随着人工智能，很多人对此感兴趣，他们真的相信，在几年内，他们可能会创造出一个比任何人类聪明10,000倍的数字神，并且他们以救世主般的热情来对待这个任务。我想，如果你是高盛，并且你试图帮助一个银行家回答客户关于化学行业的问题，可能这并不是让你起床的事情，就像关于意识本质的形而上领域，人工智能的人们谈论的那样。这在招聘有才华的人工智能开发者时是否带来了任何挑战或其他问题？

**马尔科 (39:15):**我认为开发者喜欢解决真实的问题。而吸引我最初的原因之一——虽然这并不重要，但我想说，我告诉你我个人的经历——是在一家科技公司工作绝对是非常棒的，但你总是与业务或应用程序有一层距离。假设你是银行，而我是科技公司。我需要向你出售一个工具，然后你将用它来运营或改善你的业务。我们之间的隔离程度减少了，也就是说，我们就在这里。在数字业务中，有快速、巨量的数据，巨量的流动，立即的结果，这种感觉有点上瘾。

因此，开发者，尤其是在人工智能开始做我们所谈论的那些神奇事情时，他们可以立即看到对业务的影响。我认为这吸引了很多人。事实上，越来越多的人正在转向这些行业——石油和天然气、运输、化学医疗金融——因为，这很新，看到它在行动中没有比这更令人兴奋的了。因此，有如此多的行动发生，我认为这实际上是非常有趣的。我认为你可能没有问我的另一个问题是，这个问题的一部分是，开发者的职业实际上是如何改变的？

**特雷西 (40:35):**哦，等等，我有一个相关的问题。这不是完全那个问题，但你当然也可以回答这个，好的。根据我的了解，高盛并没有一个职位名称中具体包含“提示工程师”这个词。因此，从整体上看，考虑到人工智能对你们业务的影响，人工智能对高盛员工来说是净招聘的积极因素还是净招聘的消极因素？

**马尔科 (41:04):**那么，意思是我们会雇佣更多还是更少的开发者呢？

**特雷西 (41:07):**是的，这是否会导致更多的工作，因为你在做更多的事情，生产力提高，还是会导致更少的工作，因为现在你可以自动化很多东西？

**马尔科 (41:15):**好吧，听着，如果我们有更多的资源，我们想做的事情有很多，我认为这将导致我们可以做更多的事情。你知道，有些人有时告诉我，你可能会雇佣更少的开发者。我不知道。我在IT行业，所谓的，已经快40年了，我从来没有见过这种情况下降。但我见过一些拐点，在这些拐点上，你实际上可以让开发者做更多的事情，而不必担心与业务结果无关的事情。因此，我认为这更像是这个职业将如何变化。在我看来，我们将会更少关注低层次的工作，而更多地关注，嘿，我真的需要理解业务问题；嘿，我真的需要以结果为导向思考；嘿，我需要有一个清晰的思维模型，并且我需要能够用语言描述它。

所以这个职业将会改变。我认为有些任务是如此重复，以至于自动化这些任务实际上会帮助开发者，真正与业务和战略紧密相连。这将吸引那些通常好奇、对理解我们实际做的事情感兴趣的人。因此，关注点从“如何”转向“什么”和“为什么”。这实际上是我认为多年来技术演变的核心，从IT的后台，甚至不知道你在做什么，但只要你的显示器正常工作，到“嘿，我实际上能够将一个业务问题分解成可以让AI编写代码的部分。”所以针对你的具体问题，我认为这可能会让一些公司试图通过抑制增长甚至有时减少增长来实现一些效率。对于像我们这样的公司，竞争非常激烈，对于那些有很多雄心的公司——归根结底这是一场比赛——我认为我们会努力让我们的开发者发挥更大的作用，实际上让他们感到与业务超级紧密相连。

**乔 (43:19):**非开发者角色呢？非技术角色呢？你知道，我想像高盛这样的公司可能没有很多低级别的客户支持工作，比如在窗口中说，“哦，我需要更改我的机票”等等。但是，你知道，很多现代工作本质上就是回答某人的基本问题。银行内是否有角色会因为某种代理或生成性人工智能而根本改变或消失？

**马尔科 (43:48):**我认为很多与内容生产或内容总结相关的工作实际上会被大大简化。例如，将财报转化为10个不同的来源，以便用于不同的分发渠道。这是给内部人员的，这是给客户的，这是给网站的，等等等等。想象一下为客户创建推介书的过程，你使用模板，放入大量数据，进行研究，获取标志，等等。我们有成千上万的人在做这些机械和工厂式的工作。

**特雷西 (44:23):**我相信很多初级分析师可能会很高兴听到一些推介书的制作将会被自动化。

**马尔科 (44:30):**不，我认为这是一件好事。它减少了一些繁重的工作。因此，我认为，归根结底，听着，你有没有注意到一切都在向词汇和概念汇聚？无论你是开发者，还是知识工作者，这些工作都在碰撞。我绝对… 开发者首先看到了这一点。为什么？因为这是低垂的果实。开发者处理的是词汇。没有五万个单词，只有大约200或300个语言关键字。所以当然，这非常有效。而且这当然是第一个被取代的。但我认为最终知识工作者将会是，您知道的，真正受益的人，无论您是开发者，还是在制作推介书，或者在总结会议或行动项目，或者在制定战略，等等等等。我认为总体而言，这将提升工作的质量，大家都说快乐的员工或快乐的开发者是高效的开发者。我认为当你实际上在做一些能够让你发挥最佳工作时，你会感到快乐。我希望如果人工智能能让我们所有人做更多的最佳工作，我认为这将是我们能产生的最大影响。

**特雷西 (45:39):**我知道我们只有几分钟时间。所以我有一个非常简单的问题。什么样的提示是好的？

**马尔科 (45:44):**相信与否，关键在于同理心。你需要有同理心，你需要温柔，你需要善良，你需要有点儿，你知道，去…

**特雷西 (45:54):**乔看着我，好像我在我的提示中没有同理心。我总是说请和谢谢。

**乔 (45:59):**不，特雷西嘲笑我有多么有同理心。

**特雷西 (46:01):**不，我说你说请和谢谢是非常甜蜜的。

**马尔科 (46:04):**你必须要甜蜜。你需要牵着AI的手，把它带到你想去的地方。我告诉你，我与提示的一个更有趣的经历是这样的。你知道让AI说“我不知道”有多难吗？

**特雷西 (46:18):**哦，是的。

**马尔科 (46:19):**几乎不可能。你总是会得到一个答案。所以有一次我决定要让它到达那个点。因此我必须引导提示和AI理解说“我不知道”是安全和可以的。然后在最后我提示说，“美国的首都是什么？”“华盛顿特区。”好的。然后我说，“明天的天气会怎么样？”我得到了一个答案。然后我说，“一年后的天气会怎么样？”它简单地说，“我不知道。”然后在某个时刻我甚至决定问，“在AI的世界里，人类还有角色吗？”

**乔 (46:59):**我不想知道答案。

**马尔科 (47:02):**是啊……省略号。

**特雷西 (47:04):**好吧，大家现在都要去ChatGPT上试图让它说“我不知道”。来自高盛的马尔科·阿根提，非常感谢你。这真是太好了。

**马尔科 (47:12):**谢谢你，乔，谢谢你，特雷西。

**特雷西 (47:27):**乔，这真是太有趣了。我必须说，我并不嘲笑你对ChatGPT说请和谢谢。我会重复一遍。我说这很可爱。这非常甜蜜。我也试着跟随你的榜样，我……我不说谢谢，因为我通常会继续下一个问题，但我确实会说，请。

**乔 (47:43):**我听说过这个，真有趣他这么说。因为我实际上听说过，似乎确实有定量证据表明，“请”和“谢谢”等词确实提高了质量。马特·布西金，我们在推特上认识很久的人，曾经发过关于这个的帖子。所以这样做是有充分理由的。除了习惯之外，你与所有实体交谈时，都应该养成礼貌的习惯。

**特雷西 (48:09):**哦，是的。这是你的论点，对吧？好吧，我觉得这很有趣。我们一直在谈论人工智能以及潜在的使用案例和推动技术的芯片等等。但听到一个实际做出采购决策并在大型机构中实施的人发言，真是太好了。

**乔 (48:28):**绝对是的。这可能是我最喜欢的AI对话之一，正是因为这个原因。因为，听他谈论这个想法很有趣，现在这些开源模型，特别是最新版本的Llama，正在非常接近核心的专有模型，这一点令人震惊。他认为，特别是在模型使用的推理方面，有机会更广泛地使用不同类型的硬件。这也非常有趣。

**特雷西 (48:59):**没错。我们已经习惯于谈论AI将消耗的大量电力和能源。你我之间有过很多关于我们将如何为所有这些服务器供电的对话，但得到的关注远远少于优化使用AI的方式，以便不需要消耗那么多电力。因此，也许减少训练，将训练留给大型超大规模公司或其他公司。然后只是进行推理。

**乔 (49:26):**最终，这两者都会发生，对吧？因为最终，两者都会发生。人们会找到算法技术，马尔科描述了一些，来减轻对硬件施加的压力和负担。但当然，这只会意味着你会使用得更多。而且，人们还必须解决电力消耗的问题。就像经济历史的一般情况，我们总是在寻找新的方法，以便从同样的能量（比如吉焦耳）中获得更多，同时也在同时使用更多的能源。

**特雷西 (49:59):**是的，绝对如此。那么，我们就到此为止吧？

**乔 (50:02):**就到此为止吧。