中国百度是否早于OpenAI发现扩展定律?AI界再掀辩论 | 南华早报
Zhang Tong
近期的社区讨论重新点燃了一场辩论:中国科技巨头百度是否可能早于美国的OpenAI,为大规模人工智能(AI)模型奠定了关键理论基础。大模型或称"基础模型"处于人工智能发展的最前沿,其快速迭代推动着尖端应用。虽然美国普遍被视为先进AI模型创新的领导者,但有人认为中国可能更早开始探索这些概念。大模型开发的核心是"缩放定律"——该原理主张训练数据和模型参数越大,模型的智能就越强。这一理念被广泛归功于OpenAI 2020年的论文《神经语言模型的缩放定律》,此后成为AI研究的基石。
该OpenAI论文表明,增加模型参数、训练数据和计算资源会按照幂律关系提升性能。这一洞见指导了后续大规模AI模型的开发。然而,OpenAI论文的合著者、该公司前研究副总裁达里奥·阿莫迪在11月的播客中透露,早在2014年他在百度期间就观察到了类似现象。
“2014年底我在百度与(前百度首席科学家)吴恩达共事时,我们最先研究的课题就是语音识别系统,”阿莫代伊说。“我注意到,当你提供更多数据、扩大模型规模并延长训练时间时,模型性能会提升。