华尔街需要人工智能这对人类来说太过复杂——彭博社
Aaron Brown
人类将会失败。
摄影师:Michael Nagle/Bloomberg
对冲基金AQR资本管理与耶鲁大学研究人员的一篇论文探讨了金融领域最重要的问题之一:人工智能和机器学习会取代人类研究员与交易员吗?
在这篇长达44页、题为《回报预测中复杂性的价值》的理论与实证研究中,Bryan Kelly、Semyon Malamud和Kangying Zhao提出,那些复杂到人类无法处理的模型表现优于简单模型。据彭博新闻报道,反对声迅速涌现,至少有六篇论文质疑其结论,而Kelly已对此作出辩护。
彭博观点* 婴儿潮一代将成为下一个文化消费前沿
- Bessent对稳定币填补财政赤字的幻想
- 印度禁止博彩应用将助长洗钱活动
- 日本领导人如何陷入旋转门困境 这将如何发展?我押注于凯利和他的研究团队。理论论证在技术上令人望而生畏,但核心问题却古老而易于理解。
一种预测方法是寻找几个与预测目标存在明确因果关联的关键指标,并以简单方式组合它们。例如要预测下月股市回报率,你可能会参考本月回报率、利率、市盈率等类似变量。其他所有因素都被视为可忽略的随机噪音。使用过多指标或以过于复杂方式组合它们会导致"过拟合"问题——你会得到一个完美解释过去、却完全无法预测未来的模型。这种模型利用历史噪音解释一切,但这些噪音关联未来不会重现。
若目标是理解或解释现象,上述简单路径显然是正确选择。但若只关注预测,还有另一种方法:将所有可能的指标都纳入模型(术语称为"厨房水槽模型"),尝试各种复杂组合。比如股票代码含"V"的股票在雨天周二往往上涨——这种规律也会被纳入模型。其理念是即便某个指标没有预测价值,也不会损害预测效果,只是增加噪音。你可以纳入所有因素后再压缩噪音,或通过大量交易分散噪音影响。
论文引发的辩论比这个例子更为微妙。凯利团队并未将所有可能指标纳入模型,仅使用15个变量(每个变量含12个月度值,共300个数据点),通过拟合12,000个参数来预测下月股市回报。他们既没使用股票代码字母,也没考虑周二天气。反对者并非主张只用最简单模型,而是质疑复杂性总是美德的观点。
半个世纪前,在轮盘赌的背景下也发生过一场极为相似的辩论。20世纪60年代初,爱德华·索普——这位发明二十一点算牌法的数学教授,与信息论之父克劳德·香农共同研制出世界上首台可穿戴计算机,用于预测轮盘旋转结果。此前击败轮盘赌的系统依赖于记录历史结果,寻找出现频率更高的数字。许多人认为轮盘制造过于精密,无法从中获取有效优势。
索普的关键洞见在于:如果轮盘制造精确到每个数字出现频率均等,那么其运动必然可预测。他的初期研究表明,轮盘旋转分为两个阶段。当小球沿轮盘外缘(即球道)旋转,而轮盘主体(带有数字的可转动部分)反向旋转时,系统遵循简单的牛顿力学原理。
只要知道小球与轮盘的转速及摩擦系数,就能轻易预测小球脱离球道下落到轮盘时,其下方会对应哪个数字。一旦小球离开球道,偏转器、自旋和弹跳会使运动轨迹变得混沌难测。但仅通过掌握小球脱离球道时的对应数字,就能锁定三分之一的轮盘区域——该区域在40%的情况下会成为小球落点,这已足以实现稳赢投注。
这导致了量化投资者的一个核心原则:机会在于发现别人视为随机事物的可预测性,以及别人视为确定性事物中的不确定性。到了20世纪70年代,制造可穿戴轮盘计算机并证明其有效性成为量化从业者的入门仪式之一。1 技术进步带来了精度和可靠性的巨大提升。
当我在1970年代中期尝试这一领域时,该领域已分化为两派。物理学家派将精力投入改进测量设备,他们运用源自物理学的因果模型,通过复杂方程处理相关数据。而我更倾向于统计学家派——我们使用早期版本的机器学习算法来挖掘规律。我们不仅想利用理想轮盘的确定性因素,更要捕捉那些细微缺陷带来的模式,比如某些数字槽比其他稍软或稍硬,或轮盘并非完全水平。我们测量的因素比物理学家多得多,但单项精度较低,还处理了大量看似无关的数据。
两派的争论与当前关于复杂性的讨论惊人相似。物理学家的最大优势是其设备几乎不需要针对单个轮盘进行训练,因为他们依赖的是普适物理定律而非个体缺陷。我们的优势则是低成本和高预测精度——尤其在那些使用廉价轮盘且维护松懈的赌场——代价是需要数小时校准才能开始盈利下注。2
50年来,我一直押注于复杂性而非理论,预测而非理解。我长期认为机器学习和人工智能将取代人类交易员和分析师(以及司机、医生、律师、科学家等众多职业)。成功的机器学习与AI算法会从海量数据中自主发现规律,而非由人类引导选择相关数据并对答案施加先验理论约束。不过我常犯错,所以别把所有钱押在我的轮盘计算机最青睐的数字上。
更多彭博观点:
想要更多彭博观点?OPIN <GO>。或订阅我们的每日简报。