ChatGPT能通过CFA考试吗？AI研究人员试图找出答案 - 彭博社

放松，华尔街。 ChatGPT距离通过特许金融分析师考试并威胁全球金融专业人士的工作还有很长的路要走。

一组JPMorgan Chase & Co.研究人员和大学学者测试 OpenAI的ChatGPT和GPT-4聊天机器人是否有机会通过考试的前两个级别。人类通常需要四年完成测试的所有三个级别，这可能会带来更高的薪水和更好的工作机会。

观看：ChatGPT能通过CFA考试吗？

“根据估计的通过率和平均自报分数，我们得出结论，ChatGPT在所有测试设置下可能无法通过CFA Level I和Level II，”研究人员在一份11页的报告中写道。“如果受到激励，GPT-4通过CFA Level I和Level II的机会还是相当大的。”

研究人员包括来自JPMorgan人工智能研究组织的学者和六名工作人员，包括Sameena Shah和Antony Papadimitriou。

阅读更多：
* ChatGPT可以解码联邦讲话，预测股票走势 * 对冲基金正在部署ChatGPT来处理所有繁重工作 * AI能写作，但在选股方面表现如何？：QuickTake

提供证书的CFA协会已经花费多年时间改进其考试，以确保寻求在职业生涯中获得优势的专业人士熟悉推动自动化的力量。该协会宣布将于2017年在其考试中增加关于人工智能和分析大数据方法的问题。

CFA协会教育总监克里斯·维斯承认，大型语言模型将有能力正确回答一些考试问题。

“虽然多项选择考试和论文题仍然是评估学习和理解的优秀方式，在安全的监考环境中，但金融领域的日常工作并不仅仅是一系列简短的独立问题，”维斯说。“这就是为什么要成为CFA持证人，我们还要求有4000小时的相关工作经验，至少两份推荐信，坚定的道德准则，以及即将推出的实践技能模块的完成。”

该公司还在考虑使用一种大型语言模型技术来帮助CFA考生的学习，他说。

每隔几个月，成千上万的考生参加三个不同级别的考试。通常获得持证者每级考试平均花费超过300小时学习。

近年来，考试的通过率有所下降，2018年首级考试的平均通过率为43%，而到了8月份则降至37%。

常见错误

CFA的一级特点 180道多项选择题，而二级包括案例研究和88道多项选择题。研究人员发现，无论使用何种提示方式，大型语言模型在二级上都表现不佳。

在一级，ChatGPT和GPT-4在专注于衍生品、另类投资、公司发行人、股权投资和道德的考试部分表现最佳。然而，在专注于财务报告和投资组合管理的部分，这两个聊天机器人的表现相对较差。

在二级，与GPT-4相比，ChatGPT在专注于另类投资和固定收益工具的部分表现不佳，而在与投资组合管理和经济相关的领域表现优异。

ChatGPT的大部分错误是基于知识的，而GPT-4最常见的是计算错误。

研究人员发现：“GPT-4比ChatGPT更频繁地出现推理错误这一错误类型。似乎，除了GPT-4更强的推理能力外，它更有可能‘自言自语’进入错误的推理线路。”