商汤绝影首发智能座舱产品A New Member For U

【环球网科技综合报道】11月27日消息，在2024绝影实力AI DAY上，商汤绝影首发AI汽车创新产品A New Member For U（你的家庭新成员）。

依托原生流式多模态大模型、车载类人记忆框架和持续运行框架等前沿AI汽车创新技术，商汤绝影打造的“家庭新成员”能够察言观色。商汤绝影致力于让智能汽车向有情感、有温度的超级智能体进化，让汽车不再是冰冷的工具或者机械式的助手。

在商汤绝影看来，这就需要让智能座舱进行一次“叛逆”进化，是指一种突破。AI汽车的智能座舱不再只是个听话的工具，循规蹈矩的助手，而是能够主动学习，自我进化。未来，它会将每一次交互转化为宝贵的记忆，逐渐形成对用户的深度理解。在知情允许之下，座舱能记住你的偏好，比如喜欢的温度、常去的目的地以及更多个性化细节，并提供主动服务，它还会持续迭代、自我成长。

为此，商汤绝影打造了A New Member For U(你的家庭新成员)，让智能汽车能够察言观色，时刻准备着主动提供专属服务。

而“家庭新成员”能够察言观色，离不开商汤绝影强大的原生流式多模态大模型。绝影的多模态大模型能够综合理解文本、图像、音频、视频、3D等信息模态，包括人的表情、语气等，做到全场景的多模态感知。不止如此，商汤绝影还针对车载场景进行定制，融合车端感知数据、车端场景针对性训练。

因此，家庭新成员能全面感知用户在车内的信息和需求，以及周围环境数据，并进行深度理解和推理思考。

除了强大的感知和理解能力外，要成为家庭新成员，汽车必须要有记忆。对人类来说，记忆很重要，因为它是认知功能的核心，也是情感的基础和连接的纽带。

商汤绝影打造的首个车载类人记忆框架，与人类的记忆机制非常相似，包括临时记忆、长期记忆和场景记忆三部分，三者结合让系统实现类人的记忆能力。

临时记忆，能记得一些瞬时信息，比如车里的物品、人的搭配、有没有系安全带等；也有长期记忆，就像是一个档案库，存储用户的基本信息、行为模式和偏好等，它可以自我迭代，能从用户长期使用中总结规律并不断优化。场景记忆或者说工作记忆，是通过从临时记忆和长期记忆中提取重要信息，对这些信息实时处理和分析，作出决策或者解决问题。

此外，商汤绝影还打造了能够持续推理的Always-on运行框架，能够将多模态感知到的信息与各种记忆相结合，进行高效的处理和反馈，做到时刻感知需求，主动为用户服务。通过零拷贝技术和端侧部署，新成员的系统数据延迟控制在1毫秒以内，端侧也能快速响应，目前首包耗时最短仅需60毫秒，推理速度40Tokens/秒。