何晓冬博士演讲内容_风闻
Tech星球-Tech星球官方账号-聚焦互联网前沿科技和新商业。07-17 13:31
尊敬的各位嘉宾、合作伙伴,女士们、先生们,大家上午好!时值盛夏,非常高兴在这里与大家分享京东在大模型方面的进展,以及对未来技术的一些展望。
1、目前处于大模型“百花争艳”的状态,站在这个时间点,我们应该思考的不是技术追赶,而是产业突破。
2、技术上各家都是基于transformer做大规模预训练,并不断地进行调优。我相信国内的大模型在中文方向将很快超越国外的对话产品。
3、产业大模型是通用域大模型的进阶版,需要通用大模型的常识能力+产业know-how。
1、目前AI早已告别了唯“识别率”的时代,在产业界,上下差零点几个百分点,对最终的效果影响并不大。
2、新的AI三要素,场景、产品、新型算力。大模型的出现也正好验证了我们的推测。
3、大模型走向产业的难题:知识深度、内容准度、模型迭代、安全可控等难题。
京东做大模型的优势:
1、京东拥有深厚的产业基因和供应链场景,京东的AI技术面向的是知识密集型、任务型场景,解决的是真实产业问题。
2、京东领先的AI技术能力。
1、大模型研发并非一蹴而就,靠的是持续投入,2017年京东就开始技术布局。
2、2020年,我们正式对外发布言犀,开始对外输出技术能力。
3、2021年,我们推出十亿规模K-PLUG。
4、2022年,推出了百亿级模型Vega。
5、今年,我们将推出千亿级言犀大模型。
京东的言犀大模型,是扎根产业的原生大模型。
我们拥有从基础设施、模型层、MaaS层、SaaS层全栈的AI技术布局,并拥有多款端到端的技术产品。
言犀大模型拥有三个差异化的特性:
第一,它是产业原生的,有更强的产业属性
第二,它是价值驱动的,有更高的应用价值
第三,它是开放协同的,有更快的迭代效率
优质的场景和数据让模型产业属性更强:
1、京东的数据是“鲜活的”,我们每年产生数百亿的交互数据,这保证了模型的持续迭代和优化。
2、京东的大模型是用70%通用域数据+30%京东特有的产业数据相结合去做的训练,这就保证了模型拥有大模型的“常识”,并拥有产业模型的“专业”。 某种意义上,既有了“通识教育:,又读了四年专业性的本科教育。
前沿的算法能力让模型应用价值更高:
1、京东早在2020年就首次提出K-PLUG模型,将领域知识注入大模型中,以提高大模型的专业性和忠实度。
2、K-PLUG方法是基于Transformer模型架构和京东的产业知识融合进行的预训练。
3、模型的效果在实体属性抽取准确率达到了96% 、生成式多轮对话ROUGE-L 达27% 、多轮问答知识检索率 74%
在推理部署优化方面我们也进行了系列创新:
1、推理低延时策略:通过量化矩阵算子融合、自适应参数矩阵量化、等多种策略,将推理速度提升 6.2倍。
2、部署低成本策略:依靠流式推理有效解码传输机制、动态批处理、异构集群部署等方法,将部署成本降低了90%。
3、拥有AutoML模型迭代平台,效率提升10倍以上,让模型不断的学习新的知识。
澎湃的算力让模型迭代与部署速度更快
1、大模型集群:京东早在2021年就在重庆建成了大模型集群,也是全国首个基于DGX SuperPOD架构的超大规模计算集群—天琴⍺,训练集群让大模型的每秒浮点运算次数提升了40%,多卡线性加速比提升90%。
2、向量数据库:京东自研了向量数据库Vearch,支持百亿级向量监检索,召回实现毫秒级延迟,智能储存分层实现成本降低60%
大模型带来了全新的智能交互与内容生成能力:
1、零售电商:智能情感客服、全链路的精准营销。
2、金融保险:智能投研、智能投顾、研报分析。
3、教育培训:知识问答、智能辅导、个性化学习。
4、城市政务:政务咨询、政策服务、接诉即办。
5、健康医护:智能问诊、智能导诊、智能审方。
从语言大模型走向多模态数字人交互。
1、支持语义驱动的肢体动作生成
2、支持侧脸、走动、手势等大姿态生成
3、支持5分钟高效视觉形象建模
4、支持动态生成高分辨率细节。
在应用层面,可以广泛应用在数字人客服、交互式营销屏、电商直播带货,以及一些数字分身。
这位是高庆一博士的数字分身,他是人工智能学者、中国内地男主持人、也是奇葩说辩手。我们前段时间帮助他打造了一个数字人分身。
他的数字人是一个大姿态数字人,大家可以看他的走动姿态幅度非常大,这是非常大的挑战,也是业内非常领先的技术。
接下来,我们看一下Demo展示:
大模型走到多模态之后,将从数字世界走向实体世界。
1、具身智能,已在物流领域,机械臂已经可以辅助人工分担智能分拣等工作。
2、我们通过大模型驱动机械臂在物理世界帮我们做一些事情,这也是京东探索研究院在前沿技术上的一个方向。
接下来,我们看一下Demo展示。
京东大模型三步走,从服务京东到服务千行百业:
1、在今年7月份,我们基于京东集团优质的场景和数据,推出京东言犀大模型和言犀AI开发计算平台。
2、在下半年,我们将大模型应用于京东内部核心业务并形成最佳实践, 针对一些重点场景的标杆客戶进行对外服务。
3、在2024年上半年,我们将全面开放大模型能力。
谢谢大家!