腾讯优图吴运声：计算机视觉是建立人货场三者间联系的纽带
9月18日上午，以“AI无界•智未来”为主题的2018 世界人工智能大会腾讯分论坛在上海举办。在前一天的大会高峰论坛上，腾讯董事会主席兼首席执行官马化腾表示，人工智能的发展将让人与物、人与服务实现更好的连接，通向“大社交”时代。作为“数字工具箱”中的制胜法宝，人工智能与大数据、云计算共同构成了新型基础设施，腾讯要借助人工智能继续发挥好“连接器”和“生态共建者”的角色。
在腾讯AI分论坛上，腾讯公布了目前AI技术和应用成果，腾讯在人工智能领域的战略布局将围绕“基础研究——场景共建——AI开放”三层架构持续深入。而在AI的应用上，腾讯将聚焦内容、社交、医疗、零售、游戏等领域，实现技术落地。
腾讯优图实验室总经理吴运声现场分享了腾讯优图的计算机视觉技术在智慧零售中的实践与使用，吴运声介绍：智慧零售是以人为核心的线上线下数据联动。计算机视觉技术是建立人、货、场三者间联系的关键纽带。目前，基于人脸识别、人流密度分析、商品识别、手势识别等计算机视觉技术，腾讯优图联合腾讯云推出了腾讯优Mall和腾讯智能货柜解决方案。
基于腾讯优Mall智能零售系统，消费者从到店、逛店到购买，都将获得更加优质的消费新体验，而商家通过VIP &老客到店识别、细粒度客流统计、客流轨迹统计等可以全面刻画场内用户行为，实现精准营销。目前，腾讯优Mall已经与深圳百丽国际等商场达成合作。而近期，腾讯优图联合腾讯云、每日优鲜最新推出的智能货柜解决方案，基于研究中心商品识别技术，可实现取物关门后自动生成订单结算、“即拿即走”的流畅购物体验，准确率达99%以上。
吴运声介绍，未来腾讯优Mall及智能货柜解决方案将在超市、家居、3C数码、化妆品等九大零售行业里面进行持续的推广落地。
以下为吴运声的演讲实录：
大家上午好，很高兴有机会在这里跟大家一起分享一下计算机视觉技术在智慧零售中的应用。在过去一年多时间里面，腾讯在智慧零售里面做了很多的事情，而且也建立起一整套帮助传统的零售行业去进行数字化转型的基础设施，在这样的过程中，优图先是作为腾讯内部的一个顶级AI实验室，我们也是利用计算机视觉的技术参与到这样的进程中。
首先看一下零售在日常的理解中它到底是一个什么东西？从历史上来看，我们认为零售其实就是一个相互不断去接触用户的过程，不管是通过区域代理的方式，还是线下开店，都是通过这种方式接触用户。进一步到了电商时代，商家去网上开店，也是通过网上的方式接触用户，所以对于商家来讲，怎么样能够接触用户？怎么样能够留住用户？是他们非常关心的一个事情。
什么是智慧零售呢？我们认为就是一个以人为核心的，主要是以用户为核心的去建立整套的数据系统，能够完成线上线下的联动。在我们传统的线上平台里面，我们知道用户的很多行为都已经可以被记录，被存储下来，但事实上直到今天为止，我们去逛街边的一个店面，我们在线下很多的行为没有办法被记录、识别、存储下来。智慧零售一个非常重要的事情，我们要做线下场景的数据化，我们要把一个线下用户从他进入一个商户，他在商户里面怎么去逛商店，他对商品有什么样的兴趣，一直到他是不是完成了交易，到他整个离店的过程，我们要整个数据化记录下来，包括他最后是不是产生了复购。
我们有了线下的场景数据化之后，我们再结合，如果有某种方式结合打通线下的数据行为和线上的数据行为，这样就能够形成整个数据的网络化呈现。所以对我们来讲，我们认为智慧零售就是希望打通线上和线下的过程。对于线下的行为，主要有三个层面，一个就是人、一个是货，一个是场。
人就是我要观察到我店里的人他的分布是什么样子，一天来了多少人，一天开店的时候每个小时来了多少人，男性、女性分布怎么样，年龄分布怎么样，来的这些人，逛店的行为怎么样，在店里形成了什么样的走动路线，在什么地方停留的时间最长，哪些客户完成了购买。到底重复购买的比例有多少，这些都是关于人的维度。
对于货来讲，这个商家可能有100种货或者200种货，他到底应该怎么排列，哪些货应该多放点，哪些货少放点，哪些货是用户停留时间最长的，哪些货是用户不感兴趣的，这些也希望得到非常深刻的洞察。
对于场来讲，整个零售场地有100-500平米，在场里面分成不同的区域，哪些区域用户最关心，哪些区域用户的停留时间最长，这些都是我们非常关注的情况。
我们认为计算机视觉技术能够比较好地去解决这样的问题，因为计算机视觉能够真正的去捕捉到一个人从他进店开始，到整个逛的过程，到是否产生交易，到离场之后整个的过程，我们都会有相应的计算机视觉技术的支撑。所以接下来我也会给大家深入的去介绍一下腾讯优图在智慧零售里面，我们做了哪些技术的研究。
这是一个比较完整的图，首先是最下面的技术研究，腾讯优图实验室通过很多年的积累，我们在人脸相关的研究上有非常多的积累，包括人脸检测、配准、跟踪、属性，1比1人脸比对、大的人脸检索。
我们在人体上也做了大量的积累，比如说人体检测、人头检测、人头的跟踪、人流密度分析等等。
除了这两项比较基础的之外，我们的Reid技术涉及到人体对比，单摄像头和多摄像头的追踪。
除了计算机视觉，我们还做多传感器信息的融合。在这些基础研究之上，我们还做了针对零售行业专门特定的深入研究，比如说人脸建档，我们希望用户，不管是小的门店，一天可能来2、3百人，还是一天几万人的大型商业综合体，我们都希望进来的每个人给他建立档案，下次他再来我能够调出档案。
还有空间轨迹匹配，通过这些研究，我们做了整合，才去满足最终的上层，具体业务的需求，包括刷脸支付、客流分析、动线分析。整个过程我们有技术的支撑，一开始我们不是做的非常完备，我们也会通过一线得到相应的反馈不断优化我们的算法。
第一个人脸识别技术，大家接触的也比较多，优图在这里面也是刷新了若干个记录，在刷脸支付里面也结合了活体检测相关的技术，推出了刷脸支付的方案。这里难的是要刻画用户画像的方案，用户在场景下逛的时候是非配合的。第二我们做了人脸人体属性的识别，我要判断一个人的年龄是什么样，通过人脸判断你是不是留长头发、戴眼镜、口罩，通过人体判断你穿什么颜色的衣服，穿短袖还是长袖，穿的是裤子还是裙子，通过这些技术再去建立用户进场整个的档案。第三个我们刚才提到的REID技术，在很多场景下我们拍不到人脸，我们在商场进门的地方有一个摄像机尽量拍到人脸，建立种子库。商场内部的摄像机不一定拍到人脸，这种情况下我们通过体态、穿着、行走特征，把它跟人脸匹配上来。
还有商品识别和人货匹配的技术，我们现在有超过1千种的商品识别，而且要做细粒度的识别。货架上的商品排的非常紧密，怎么能够准确识别出来。还有比较好的手势识别技术，我要判断用户是不是摸了拿起来某个商品，我们都针对具体的场景做了研究。在研究的基础上，我们还要对整个的研究去做出完整的实践解决方案来。
腾讯优图在研究的基础上我们推出了什么样的解决方案？首先我们有一个智能货柜的解决方案，第二针对商家有个数字化整体的解决方案，叫腾讯优Mall，就是把线下的零售场景完整的做数字化。当用户到店的时候，我就要做ID的创建，做老客、VIP的识别，把客户的特征刻画出来，把用户的档案建立起来。老客要观察他到店的频率，顾客到店之后对整个逛店的过程，我们也需要对用户整个的动线进行观察，对于用户在哪个区域停留了多长时间，我们需要进行精准的分析，对他的行为是不是触摸了某个商品，拿起了什么商品进行分析。在购买的时候有人脸支付的解决方案，左边这一块是计算机视觉得到的相关数据，我们内部还有其他相关的数据，结合起来就形成线上线下打通的解决方案。
第一会有VIP老客到店的识别，他到店直接推送信息给导购，导购根据这个信息可以更好的服务。第二我们有非常细粒度客流的统计，精确到每一分钟，每几小时客流分布是怎么样子，精确到男装、女装区域的客流分布是怎么样子，整个人流怎么走的。客流整个的轨迹，包括他在哪个区域，热力图是怎么样，哪个区域非常热，哪个区域没有人走，我们会有热力图非常直观的呈现出来。在系统信息层面做到多店同比，像我们的名创优品在全国有很多店，在同一个城市的不同店面之间的数据对比，我们会有非常直观的展现。最后我们会有一个完整的刷脸支付的解决方案，会和微信支付一起，所以这一整个是我们完整的优mall解决方案。
这个解决方案也确确实实，目前已经在某些商家取得了非常成功的效果。像我们在深圳百丽国际的一个门店上，我们先去部署了这个系统，经过一个月之后，店长就发现这个数据有一些比较有意思的现象，就是我们的数据告诉他这个店的女性用户的客流量的占比要比女性用户销售额的占比超出10%以上，也就是说有大量的女性用户没有被挖掘出来。店长发现了这个信息之后，就去向总部申请，增加了女性商品在他店里的摆放，并且把女性相关的商品陈列做了一个特殊的摆放。再过一个月之后，发现这里确实在女性品类上面的销售额得到了40%以上的增长，但是其他的品类的商品并没有下降。而且我们还同比对比了其他的商家，这并不是因为一个限时促销或者节假日的原因，就是因为我们深入挖掘了里面的女性用户，这是一个非常典型的案例。
另外一个我们还有智能货柜的解决方案，智能货柜用到计算机视觉技术不太一样，它的摄像头是从货柜的顶端照下来的。对于商品会有很多，像排列太紧密、遮挡、欠曝的情况，怎么样用技术解决这样的问题，给研究员很大的挑战。内部的研究人员用各种各样的方法，用多种数据增强方法，用STN学习仿射矩阵解决这些问题。看到最后的结果非常好，在5月份我们初步亮相了这样一个产品，我们当时在一个日均订单240单以上，识别率达到99.05%，8月份在重庆展出，商品识别率达到99.72%，这是一个非常好的案例。
上面是我腾讯优Mall和腾讯智能货柜的解决方案。今后，在超市、家居、3C数码、化妆品等九大零售行业里面，我们都会持续推出腾讯优Mall智慧零售的解决方案。谢谢大家！