AI推理时代：边缘计算成竞争新焦点
【环球网科技综合报道】近日，随着科技领域一系列动态的涌现，AI大模型的竞争焦点正加速向AI推理转移，AI推理时代已然来临，而边缘计算凭借其独特优势，成为这一新兴领域的竞争新战场。
AI推理时代开启
自去年以来，科技巨头们在AI推理领域动作频频。Open AI推出O1推理模型，Anthropic跟进推出依赖推理能力的“Computer Use”的Agent功能，DeepSeek R1推理模型在全球引发广泛关注，英伟达在GTC大会上亮相首款推理模型、首个推理软件等。这些事件清晰地揭示出AI大模型竞争焦点的转变。
资料图
巴克莱报告指出，AI推理计算需求将迅速提升，预计占通用人工智能总计算需求的70%以上，甚至可能超过训练计算需求，达到后者的4.5倍。英伟达创始人黄仁勋也预测，推理所需算力需求规模增长能“轻松超过去年估计的100倍”。
在DeepSeek出现之前，AI大模型的部署与训练面临诸多难题。一方面，需要大量的资金投入和大规模算力的部署、维护，中小企业难以自建生态进行大模型开发；另一方面，AI大模型闭源带来部署与使用门槛，限制了其广泛应用。
而DeepSeek采用大规模跨节点专家并行的模式，利用强化学习减少人工依赖和数据缺失问题，并通过全面开源的方式，将AI推理资源池成本降到百卡/千卡范围，降低了AI大模型在行业用户环境中的部署与使用成本。其部署方式更加轻量、灵活，为行业提供了全新解决方案。短短两个月内，国内外科技、金融、政务、能源、通信、汽车、高校等各行各业纷纷接入DeepSeek，用于业务提效和AI应用创新，加速了端侧AI的爆发与普及，推动了AI格局向大规模推理转变。
边缘计算的必要性与优势凸显
AI推理需要为终端用户运行工作负载，响应速度和位置至关重要，这使得在边缘或边缘云环境中进行推理更具优势。对于企业而言，靠近节点的边缘云能有效提高数据交互和AI推理的即时性与效率，并保障信息安全。
边缘计算地理分布广泛，更靠近用户，是实现低延迟体验的必要条件。同时，通过缩短交互链路，能大幅降低数据传输开销和成本。以语音数字人场景为例，相较于中心云，在靠近用户的边缘侧接入，语音数据传输链路更短，用户体验明显优于中心推理；相较于设备端，又能降低对终端设备的依赖，模型能力的优化升级更加简便。
边缘节点容量大、健壮性强、可用性高，叠加边缘推理后，更具智能、更加高效，能够更好地支撑企业数字化、智能化转型。此外，边缘计算还能保障业务连续性，通过业务调度能力实现节点故障时的快速切换。
在边缘侧还可以提供更多能力，如边缘缓存可实现交互内容的就近存储，减少网络流量、提升模型的实时性；集成安全的边缘防护能增强大模型部署和应用的安全性。
市场加速竞争，厂商积极布局
AI推理市场的主要竞争者包括AI硬件厂商、模型厂商以及AI服务提供商，目前参与者们已纷纷瞄准边缘计算进行布局。
在硬件层面，苹果、高通等厂商积极研发边缘AI芯片，应用于AI手机和机器人上，支撑边缘端的大模型运行；Arm发布边缘AI计算平台，可运行超10亿参数的端侧AI模型；国科微推出AI边缘计算芯片，可适配包括轻量级LLM语言大模型、AIGC生成式模型、CV大模型以及多模态大模型等。
在平台服务层面，英特尔推出基于英特尔锐炫TM显卡的边缘端AI推理解决方案，提升AI推理速度；阿里云推出边缘容器云，助力开发者实现更快速的AI推理应用的迭代和部署；网宿科技打造边缘AI平台，提供ServerlessGPU、边缘AI网关、边缘模型微调与推理服务等，帮助企业低成本、高效率地实现AIGC创新。
目前，AI推理市场正处于快速发展期，竞争格局尚未完全固化。专家认为，未来市场竞争的核心要素在于成本/性能的计算，包括推理成本、延迟和吞吐量。聚焦到边缘计算这一切入点，资源与技术能力将是参与者竞争取胜的关键。
以网宿科技为例，作为边缘计算领域的头部玩家，其早在2011年就开始探索边缘计算，已形成从资源、产品、能力、安全到应用的一体化布局。资源方面，网宿在全球拥有近3000个节点资源和丰富的GPU算力资源，更贴近业务边缘，具有低时延优势，在与大模型交互的链路中，能够将模型交互效率提升2 - 3倍。
技术能力上，网宿沉淀了完备的技术栈，依托异构计算资源的虚拟化和容器化、全球海量节点的编排管理等关键技术，能够支撑大规模模型能力的调度和运营，为企业提供高可用服务。此外，网宿还通过边缘函数自定义更多个性化的功能，结合企业业务场景提供个性化的智能解决方案。
据悉，网宿边缘AI平台已深入医疗、家居、媒体、互联网等行业，应用于AI辅助开发、AI问答、AIOT、AI评论等场景。例如，网宿利用RAG技术构建知识库，并结合边缘AI推理模型，为某医疗企业构建了智能AI问答系统，明显提升了医疗咨询的效率。
可以预见，随着模型技术的不断演进和边缘计算能力的持续提升，AI推理将迎来一场革新，为产业带来更多创新机遇。（文智）