网宿科技发布边缘AI网关，赋能开发者简化AI构建流程

2024-07-11

<article><section data-type=“rtext”>【环球网科技综合报道】7月11日，网宿科技宣布正式推出其全新的AI服务——边缘AI网关。<img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/4ec62216c5a0c6b2625167fbd9a7a8ba.jpg?imageView2/2/w/750" />网宿科技CDN产品研发总监曾智全在发布会上表示，随着AI成为新一轮创新的焦点，越来越多的企业希望利用AI技术来推动业务发展，但往往受限于技术或经验的缺乏。网宿科技此次推出的边缘AI网关，正是为了帮助企业更简单、更安全、更有效地应用AI技术。据悉，网宿边缘AI网关旨在为企业在模型服务与AI应用之间搭建起一座桥梁。无论是个人开发者还是大型企业，都可以通过网宿边缘AI网关更加便捷地管理和集成模型服务，进而更好地开展AI应用创新。近年来，随着GPT等大模型的兴起，AI在各行各业的应用加速涌现。集成大模型已成为提升应用体验和功能深度的普遍趋势。然而，企业在使用多个模型或提供商时，面临着高昂的AI应用成本以及复杂的管理和运维难题。如何更好地管控模型使用、降低成本支出，并清晰地洞察AI使用现状和服务问题，成为企业构建AI应用的内在诉求。此外，企业在使用模型服务的过程中，还面临着敏感数据泄露、内容不合规等风险。目前，大多数企业组织还未着手解决或正在解决这些AI相关风险。针对这些挑战，网宿边缘AI网关提供了一体化的解决方案。企业可以通过统一的控制平台创建边缘AI网关，添加通道，实现与多个AI服务商的模型对接，并且平台支持多模型服务的可管、可控、可观察。在接入层面，网宿边缘AI网关已经提前完成了与多个主流AI服务商的集成。企业开发人员无需频繁修改代码，只需在控制台进行网关配置，即可一次接入并使用多个模型服务，大大提升了接入效率。在管理层面，网宿边缘AI网关支持特殊配置，企业可以在AI网关上灵活定义优先级、负载均衡、限速等策略，按需配置不同模型服务，实现成本可控或减少滥用。同时，企业还可以在请求失败情况下实现无缝切换，提升AI服务的可靠性。另外，启用缓存功能后，一旦请求在AI缓存中命中，则不必回到模型提供商，从而减少tokens数的消耗，降低成本并提高响应速度。在运营层面，网宿边缘AI网关提供数据可视化功能，聚合来自多个模型提供商的指标，并支持请求数、tokens数、缓存数、错误数等的分析展示。同时，提供实时日志记录，让企业可以观测和控制模型服务的使用情况，以优化模型服务策略。除了高效接入与管理外，网宿边缘AI网关还注重确保模型服务的安全性、高性能以及可定制化。在安全性方面，企业可以在网关上配置提示词过滤规则或执行内容安全审计，以确保交互内容的安全、合规和尊重用户。在服务性能上，依托网宿强大的全球资源网络，用户可以就近接入边缘分布式AI网关，确保访问的稳定性和速度。目前，网宿边缘AI网关已开放限时免费测试，以支撑用户的AI体验。未来，网宿科技还将深入企业应用，聚焦特定的AI场景，打造更多如边缘向量数据库、边缘模型推理服务等创新产品，计划面向公众开放。届时，企业将能够轻松集成公共或自有模型，通过边缘AI网关合理管控模型应用，并获取多模型运行数据。同时，他们还可以与边缘函数、边缘KV存储、应用引擎等组合使用，灵活构建和扩展边缘AI应用，执行智能问答、内容创作、检索增强、图片识别等多样化的AI任务。随着AI时代的不断发展，网宿科技在AI领域的能力布局将持续深化。曾智全表示，网宿科技将致力于构建更加敏捷、适应性更强、更安全的AI生态系统，让更多企业都能拥抱AI，并从中获得创新与增长。</section></article>