火山引擎谭待：拒绝流血补贴，用技术优化成本

2024-05-17

<article><section data-type=“rtext”>【环球网科技综合报道】5月15日，字节跳动在火山引擎原动力大会上正式发布豆包大模型。火山引擎总裁谭待在接受媒体采访时展开阐释了豆包大模型的定价策略。<img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/dbcec122c911dfc1485d09e6a5cac279u5.jpg?imageView2/2/w/750" />随着大模型技术的不断发展，企业与开发者都在积极投身大模型，各类场景蓄势待发。谭待表示，据判断，在未来一年内，大模型将在越来越多的企业场景从POC阶段走到真实的生产系统。然而，企业要真正做好大模型的落地并不是一件容易的事情，这里面有三个关键挑战：第一是模型效果，必须要有好的基础大模型才能够解决复杂的问题；第二是推理的成本，只有非常非常低的成本服务，才能够让大模型广泛的应用起来；第三是落地难度，需要有更多的工具、更多的插件、更多的平台和应用，来帮助企业在更多的场景里面非常容易地去做好大模型场景落地。所以，火山引擎推出新一代全栈AI服务，希望帮助企业解决好这些挑战，用更好的模型、更低的成本和更易落地的方案，帮助企业做好AI转型。强大的模型综合能力，以及可精调带来的优化能力，让豆包Pro模型能广泛应用在问答、总结、创作、对话、分类等诸多场景，帮助其企业全方位地应用AI。而价格方面，豆包大模型的超低价格对行业造成了极大冲击。据悉，豆包主力模型的推理输入价格只有0.0008元/千Tokens，比行业便宜99.3%。对此，谭待坦言，“降价是用技术优化成本来实现的。如果只是补贴，用亏损换收入是不可持续的，火山引擎不会走这条路。”据介绍，大模型推理成本的优化，技术上有很多手段。首先是模型本身，模型结构、训练方法都可以持续改进，包括业界很关注的MoE（混合专家模型），就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大，优化推理成本的空间也越大。以前的模型都是单机推理，大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好，推理成本就会大大降低。另外以字节内部业务为例，飞书的主要流量高峰在工作时间，抖音在下班后休闲时间的流量更高，这些不同业务的大模型推理，也能根据业务特点错峰使用，就可以降低成本。对于“大模型开始价格战”的说法，谭待认为，大模型市场仍在发展初期，远远没到激烈竞争的阶段。“池塘有多大，鱼就有多大，现在整个池塘还在培养的过程中。”</section></article>