何晓冬博士演讲内容_风闻

​

尊敬的各位嘉宾、合作伙伴，女士们、先生们，大家上午好！时值盛夏，非常高兴在这里与大家分享京东在大模型方面的进展，以及对未来技术的一些展望。

1、目前处于大模型“百花争艳”的状态，站在这个时间点，我们应该思考的不是技术追赶，而是产业突破。

2、技术上各家都是基于transformer做大规模预训练，并不断地进行调优。我相信国内的大模型在中文方向将很快超越国外的对话产品。

3、产业大模型是通用域大模型的进阶版，需要通用大模型的常识能力+产业know-how。

1、目前AI早已告别了唯“识别率”的时代，在产业界，上下差零点几个百分点，对最终的效果影响并不大。

2、新的AI三要素，场景、产品、新型算力。大模型的出现也正好验证了我们的推测。

3、大模型走向产业的难题：知识深度、内容准度、模型迭代、安全可控等难题。

京东做大模型的优势：

1、京东拥有深厚的产业基因和供应链场景，京东的AI技术面向的是知识密集型、任务型场景，解决的是真实产业问题。

2、京东领先的AI技术能力。

1、大模型研发并非一蹴而就，靠的是持续投入，2017年京东就开始技术布局。

2、2020年，我们正式对外发布言犀，开始对外输出技术能力。

3、2021年，我们推出十亿规模K-PLUG。

4、2022年，推出了百亿级模型Vega。

5、今年，我们将推出千亿级言犀大模型。

京东的言犀大模型，是扎根产业的原生大模型。

我们拥有从基础设施、模型层、MaaS层、SaaS层全栈的AI技术布局，并拥有多款端到端的技术产品。

言犀大模型拥有三个差异化的特性：

第一，它是产业原生的，有更强的产业属性

第二，它是价值驱动的，有更高的应用价值

第三，它是开放协同的，有更快的迭代效率

优质的场景和数据让模型产业属性更强：

1、京东的数据是“鲜活的”，我们每年产生数百亿的交互数据，这保证了模型的持续迭代和优化。

2、京东的大模型是用70%通用域数据+30%京东特有的产业数据相结合去做的训练，这就保证了模型拥有大模型的“常识”，并拥有产业模型的“专业”。 某种意义上，既有了“通识教育：，又读了四年专业性的本科教育。

前沿的算法能力让模型应用价值更高：

1、京东早在2020年就首次提出K-PLUG模型，将领域知识注入大模型中，以提高大模型的专业性和忠实度。

2、K-PLUG方法是基于Transformer模型架构和京东的产业知识融合进行的预训练。

3、模型的效果在实体属性抽取准确率达到了96% 、生成式多轮对话ROUGE-L 达27% 、多轮问答知识检索率 74%

在推理部署优化方面我们也进行了系列创新：

1、推理低延时策略：通过量化矩阵算子融合、自适应参数矩阵量化、等多种策略，将推理速度提升 6.2倍。

2、部署低成本策略：依靠流式推理有效解码传输机制、动态批处理、异构集群部署等方法，将部署成本降低了90%。

3、拥有AutoML模型迭代平台，效率提升10倍以上，让模型不断的学习新的知识。

澎湃的算力让模型迭代与部署速度更快

1、大模型集群：京东早在2021年就在重庆建成了大模型集群，也是全国首个基于DGX SuperPOD架构的超大规模计算集群—天琴⍺，训练集群让大模型的每秒浮点运算次数提升了40%，多卡线性加速比提升90%。

2、向量数据库：京东自研了向量数据库Vearch，支持百亿级向量监检索，召回实现毫秒级延迟，智能储存分层实现成本降低60%

大模型带来了全新的智能交互与内容生成能力：

1、零售电商：智能情感客服、全链路的精准营销。

2、金融保险：智能投研、智能投顾、研报分析。

3、教育培训：知识问答、智能辅导、个性化学习。

4、城市政务：政务咨询、政策服务、接诉即办。

5、健康医护：智能问诊、智能导诊、智能审方。

从语言大模型走向多模态数字人交互。

1、支持语义驱动的肢体动作生成

2、支持侧脸、走动、手势等大姿态生成

3、支持5分钟高效视觉形象建模

4、支持动态生成高分辨率细节。

在应用层面，可以广泛应用在数字人客服、交互式营销屏、电商直播带货，以及一些数字分身。

这位是高庆一博士的数字分身，他是人工智能学者、中国内地男主持人、也是奇葩说辩手。我们前段时间帮助他打造了一个数字人分身。

他的数字人是一个大姿态数字人，大家可以看他的走动姿态幅度非常大，这是非常大的挑战，也是业内非常领先的技术。

接下来，我们看一下Demo展示：

大模型走到多模态之后，将从数字世界走向实体世界。

1、具身智能，已在物流领域，机械臂已经可以辅助人工分担智能分拣等工作。

2、我们通过大模型驱动机械臂在物理世界帮我们做一些事情，这也是京东探索研究院在前沿技术上的一个方向。

接下来，我们看一下Demo展示。

京东大模型三步走，从服务京东到服务千行百业：

1、在今年7月份，我们基于京东集团优质的场景和数据，推出京东言犀大模型和言犀AI开发计算平台。

2、在下半年，我们将大模型应用于京东内部核心业务并形成最佳实践， 针对一些重点场景的标杆客戶进行对外服务。

3、在2024年上半年，我们将全面开放大模型能力。

谢谢大家！