人工智能仍不够智能——《华尔街日报》
James Freeman
2020年,萨尔瓦多圣路易斯塔尔帕的奥斯卡·阿努尔福·罗梅罗国际机场停机坪上的阿维安卡航空公司飞机。图片来源:何塞·卡贝萨斯/路透社人们已经很难区分事实与虚构,而一项新技术似乎并未让这一任务变得更容易。事实上,如果拥有自然智慧的人类过于依赖人工智能的多样性,情况可能会变得更糟。
“GPT-3.5幻觉出不存在引用的证据:来自经济学的证据”是萨姆福德大学的乔伊·布坎南和奥尔加·沙波瓦尔的一项新研究的标题。以下是摘要:
我们为每个经济文献杂志(JEL)主题创建了一组提示,以测试GPT-3.5大型语言模型(LLM)撰写经济概念的能力。对于一般性总结,ChatGPT表现良好。然而,ChatGPT建议的引用中超过30%并不存在。此外,我们证明了随着问题变得更加具体,LLM提供准确信息的能力会下降。本文提供的证据表明,尽管GPT已成为研究生产的有用输入,但对输出进行事实核查仍然很重要。
这是肯定的。布坎南女士一直在探索这个问题,并在1月份在《经济学家每日写作》博客上撰写了研究生威尔·希克曼的研究:
尽管许多学术研究者并不喜欢撰写文献综述,并希望由AI系统代劳繁重工作,但我们发现让ChatGPT承担这一角色存在一个严重问题:它会引用根本不存在的论文。这并非个别现象——我们向ChatGPT提出过不同的研究问题,它持续提供虚假和误导性的参考文献。更糟糕的是,它经常将真实存在的正确文献与错误引用及虚构论文混杂在一起。简而言之,使用ChatGPT进行研究时务必谨慎。
遗憾的是,律师们很少研究经济学家的著作。想想本可避免的诸多问题。仅以近期案例为例,本杰明·韦瑟在《纽约时报》报道:
一位名为罗伯托·马塔的男子起诉阿维安卡航空公司,称其在纽约肯尼迪国际机场的航班上被金属餐车撞伤膝盖。
当阿维安卡航空公司请求曼哈顿联邦法官驳回此案时,马塔的律师提交了一份10页的答辩状,其中援引了六项相关法庭判例,包括马丁内斯诉达美航空案、齐彻曼诉大韩航空案,以及至关重要的瓦尔盖塞诉中国南方航空案——该判例对联邦法律及"自动中止对诉讼时效的阻断效力"进行了权威论述。
只有一个问题:无论是航空公司的律师,甚至法官本人,都找不到这份法律简报中引用和总结的判决或引文。
原因在于ChatGPT凭空捏造了所有内容。
涉事律师已表示悔意,其他人或许也会后悔高估了这项新科技工具的当前实用性。
ChatGPT的创造者OpenAI则向试用该软件者发出如下警示:
尽管我们设置了防护措施,系统偶尔仍可能生成错误或误导性信息,并产生冒犯性或偏见内容。它并非用于提供建议。
鉴于该技术的原始状态,或许您谦卑的记者还能继续笔耕不辍一阵子,才需让位给机器。与此同时,读者们可能对一项分析能力新测试的结果感兴趣。
初步结果表明,即便是稳健的人类智能也无法从以下段落中挑出任何一句毛病——这些文字由名为杰拉德·贝克的有机语言机器生成:
对人类更大的威胁是什么:人工智能,还是那些要求必须对此采取行动的专家们?
随着关于人类生存威胁的警告声愈演愈烈,全球范围内采取行动的呼声日益紧迫,越来越明显的是——无论人工智能威胁本质如何,就像过去一个世纪左右人类面对的所有所谓灭绝级威胁一样——它终将成为大官僚体系、全球政府派和全知监管者们要求获得更多自由控制权,将更多个人与国家主权移交给超国家专家和技术官僚的绝佳机会。
如果我愤世嫉俗一点,我会推测这些威胁即使不是人为制造的,至少也是被刻意夸大,目的就是让世界符合那些自认为应该统治我们的技术官僚思维——以免缺乏监管的人们因无知冲动而毁灭地球…
当面对又一场自封专家和技术官僚要求全球采取行动、为他们自己和志同道合的朋友创造庞大新机会的表演时,我的建议是:警惕打着高科技幌子的骗局。
***
湾区之城是否已触底?
安德鲁·马克·米勒 在福克斯新闻报道中讲述了一位从阿富汗移民到美国的旧金山店主遭遇:
“政客们必须控制局面,这里比阿富汗或伊拉克还糟糕,“旧金山里士满区"Cigarettes R Cheaper"的联合店主扎伊德告诉福克斯数字新闻。他指的是周二晚间遭遇抢劫后该市的犯罪状况——六名窃贼砸碎橱窗,抢走了约8万美元商品和2万美元现金。
“至少在阿富汗,塔利班会砍掉你的手,人们不敢犯这种罪,“扎伊德补充说,他每天都能看到附近商店遭窃。
本专栏继续反对断手刑罚,希望城市官员能采用更温和、更常规的惩罚方式来震慑盗窃行为。当然,市政官员首先需要将遏制盗窃列为优先事项。
***
79年前的今天
在法国,西尔维·科贝特和杰弗里·谢弗 为美联社从犹他海滩发回报道:
二战老兵们分享了诺曼底登陆及战斗的鲜活记忆,数十人重返诺曼底海滩和关键战场,纪念这场决定性战役79周年——该战役最终使法国和西欧从纳粹统治下获得解放…
周日,40多名美国二战老兵乘坐轮椅,在圣梅尔埃格利斯小镇的街道上列队游行。1944年6月6日凌晨,数千名伞兵曾在此空降。
欢呼的人群鼓掌致意,高喊"谢谢"和"Merci”。
***
本专栏已更新,说明沙波瓦女士在桑福德大学教授经济学。研究报告最初在SSRN发布时,其所属机构误标为其获得博士学位的内华达大学里诺分校,而非她实际开展研究的桑福德大学。
***
詹姆斯·弗里曼是 《借来的时间:花旗银行两个世纪的繁荣、萧条与纾困》 的合著者,也是 《代价:特朗普、中国与美国复兴》的合著者。
***
在推特上关注詹姆斯·弗里曼。
订阅《最佳网络》电子邮件。
如有建议,请发送邮件至[email protected]。
(特蕾莎·沃佐协助编辑《最佳网络》。感谢托尼·利马和马克·佐勒。)
***