您的位置:网站首页 > 目标运动 > 正文

刷脸、多目标跟踪……揭秘苏宁智慧门店还有哪些黑科技!

类别:目标运动 日期:2018-5-15 22:27:56 人气: 来源:

  作为在行业中实践线上线下融合的企业,苏宁已经掌握了智慧零售的先发优势,迎来了全面爆发的时刻。

  2018年,苏宁更是提出了“造极”的发展方向,意在以极客,极速的方式,创造出智慧零售的极物。

  “北斗”系统作为一款集大数据、人工智能于一体的智慧零售产品,将为苏宁线下发展提供强大的技术支撑。

  对于线下门店,经营好坏的关键因素是什么?总的来说,是门前客流、进店客流、成交单数、销售额、客单价等指标。

  而其中,尤为重要的便是客流,这是实现销售经营目标的前提。客流量不仅仅影响店铺运营策略,更是成为投资决策、发展前景和经营效果评估的重要依据。

  通过客流数据分析,我们不仅可以了解场所实时客流状态并预测未来客流发展情况,而且能够更好地制定针对性营销策略、调整商品、广告摆放展位、顾客动线设计等等。

  基于此实际需求,苏宁“北斗”系统是一款为门店服务研发的数据产品,依据线下视频数据资源,利用视频图像识别技术,融合视频处理、图像处理、模式识别以及人工智能等多个领域的技术,彻底了一直以来依赖人工统计或传统方式的数据统计方式。

  统计客流一直是门店经营需求中的一个痛点,作为经营管理者,每天首先也是最关注的是每小时、每天、每周来了多少顾客、出去多少顾客、在店多少顾客等等。

  早期,我们为了获取各个门店的客流数据,每个门店都会在门口安排一个人员进行人工统计,然后再通过后台系统进行,这样总经理、店长等管理人员可以大概获取到一个进店人次的数据。

  这样做不仅耗费人力而且工作量大,不能形成成套体系的数据积累和参考依据,因此,这个方案在推行的过程中慢慢被大家放弃了。

  随着互联网的发展,WiFi技术遍地开花后,每个门店开始安装免费 WiFi,让来店顾客通过连接 WiFi的方式实现来店顾客的计数功能。

  在技术上采取手机MAC地址进行人数统计,还可以根据手机的 IP进行顾客在店内行动轨迹的追踪以及判断新老顾客。

  这三点就严重影响了数据的准确性,无法保障数据的参考价值和分析意义,从而不具备数据的指导意义。

  随着人工智能技术的发展和成熟,图像识别技术渐渐商化应用,依据门店现有的数据,利用视频识别技术,可以实现将视频画面的活动物体提取、识别、跟踪等,从而获取到完整的顾客在线下的用户行为数据。

  该数据不仅全面、完整,而且还覆盖了全场景的数据,有效的支撑了数据化的运营管理,为门店的运营提供强有力的数据依托。

  同时,由于深度学习算法的应用,对人脸的多种角度、多种姿态甚至局部的遮挡,都能轻松检测、跟踪。

  这也是一个容易忽视的环节,门店摄像头采集视频流实际每秒产生 30帧的画面,当有人员经过的时候,其实采集了大量的人脸捕获数据。

  我们通过跟踪算法跟踪每个人员的轨迹,采集一组视频帧截图,然后通过人脸朝向分析、图像模糊检测分析、人脸质量打分模型从中挑选出一张质量最高的人脸照片,并进入到下一环节。

  人脸识别技术已相对成熟,随着深度学习技术在人脸识别应用中的不断成熟,各家人脸识别算法之间的准确率的差异仅体现在小数点后几位。

  LFW (Labeled Face in Wild)是人脸识别研究领域的最重要人脸图像评测集合之一,其包括 5749个人的人脸数据,均来自实际场景,包含自然的光照、表情、姿势、遮挡等干扰因素,甚至包含年龄变化、化妆等复杂的干扰因素。

  目前苏宁大数据中心算法团队在该数据集上达到 99.70%的准确率,与目前该数据集最高指标 99.83%差距很小,达到行业一流水准。

  对于线下门店这种大规模的开集合的人脸识别应用,算法模型面临的最大挑战就是大规模一对多人脸识别准确率的问题。

  为了解决这个问题,首先,我们将标准 SoftmaxWithLoss中的 inner product去除偏执项,同时对权重 w和神经元 x进行 L2 norm,将问题转换为角度约束的问题。

  其次,我们通过改进损失函数,增加anglemargin,来提高相同 id的类内相似度,降低不同 id之间的类间相似度,通过这种 angle margin的改进,我们可以压缩大部分 id的人脸特征子空间。

  最后,我们认为人脸识别的难点,比如极为相似的人脸识别问题甚至双胞胎的人脸识别问题,用最强全局的约束是无法满足 angle margin分类条件的,这也是为什么 angle-softmax训练的时候 loss会很大的原因。

  具体方法是使用三重损失函数 tripletloss,使用三幅图像集合:固定 anchor A、正例图像 P、反例图像 N进行训练,目的是让 A与 P的距离小于 A与 N的距离。

  通过以上步骤构建训练的基于深度残差卷积神经网络以及相似 id差异正则优化构建的网络模型,结合我们算法自动预标注的人脸样本以及少量的人工校准构建的千万级别的训练数据集,我们将我们的人脸识别准确率提升了 7个百分点左右。

  除了模型的改进,同时我们有 6台高性能的GPU服务器组成的集群可以快速验证迭代算法,使我们的算法模型更新速度从几周更新一次到十几小时更新一次,让不同的算法合成适配不同的场景,让算法更精准。

  苏宁拥有 18万员工以及几千店,2018年还计划增加 5000店,通过人脸识别技术在苏宁内部以及线上线下的应用,我们的人脸识别算法能力还会进一步的迭代提升。

  苏宁“北斗”系统使用了背景模型 +人脸识别+ 3D深度信息+多目标跟踪 +深度学习网络的整套算决方案。

  该算法是在跟踪过程中训练一个目标分类器,使用目标分类器去检测下一帧预测是否是目标,之后再使用新的检测结果去重新训练,以获得新的目标分类器。

  卡尔曼滤波是一种经典的滤波方法,它是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。

  我们将单目标跟踪的 KCF算法扩展到多目标跟踪。在客流统计系统中,在不改变其他框架的基础上,沿用原有的前景建模和匈牙利匹配。

  经过详细比较发现,在多目标跟踪时,KCF算法存在速度上的缺陷,占用时间较长,难以满足我们实时性的要求,因而我们最终还是选用了卡尔曼滤波作为我们的基础跟踪算法。

  在识别算法上,我们以基于深度学习的 SSD学习网络为基础,根据实际情况,进行了进一步的优化和改进,并整合到我们的整个北斗系统当中。

  依据苏宁强大的大数据计算能力和人脸识别技术,通过分析店外和店内的用户属性及行为信息,不仅可以为店铺的智能推荐、营销、服务、以及店铺的购物动线、商品及货架陈列,提升更好的导购服务。

  还能促使线下门店实现数据化和智能化,改变门店运营方式,让门店具有思考能力,拥有一颗智能的“大脑”。

  “进店率”是影响门店是否具备吸引力的一个重要指标,我们如何有效的分析“过客”是怎么样的一个群体,对于目前的线景还是一个“黑盒”。

  如何获知过消费者有多少,并且他们的特征画像是什么,目前对于门店经营管理者也是一个急切的需求。

  而苏宁大数据团队利用识别技术,结合人脸识别、人体轮廓跟踪、人脸特征点等算法技术,有效的分析出了过人群的数量、群体规模、男女和性别分类,以及进店人群的特征等数据,为门店经营者制定个性化的营销策略提供了数据支撑和保障。

  对于进店顾客来说,顾客的来店动机、行为轨迹、关注热点、购买意向是门店管理者对于到店顾客的另一大痛点要求,如何实现这块数据的采集、分析和应用也是“北斗”系统的一大特色。

  在算法的层面上,为实现最好的效果,需要配合安装特定摄像头,并实现摄像头安装高度和角度的精准控制。

  在算法上,我们首先研究了基于多通道特征的 ACF算法,将算法进行了工程化的实现,对算法的精度和速度进行了测量。但是发现该算法应用在我们的场景中时,精度不能让人满意。

  为了实现更高精度与性能的要求,我们使用了深度学习中的小网络系统,并与检测算法中的深度学习 SSD模型相结合。

  通过视频的采集,将视频中的目标进行具体的标注,算法的微调,训练自己的模型等步骤,实现了热力图中的相关功能。在计算精度和计算速度上都达到了原定的要求。

  老客的识别,通过提取顾客每次来店的特征点,当顾客下次到来的时候,根据其上期的数据为其精准服务;新客的引导,根据新客到店关注的信息、行进的速度进一步预测顾客需要什么,为其精准推荐。

  根据每日、每周、每月顾客对商品的关注度,合理调整商品出样及库存铺货,将为用户提供更喜欢的商品和更短的取货服务。

  重点人群、踏板、晚间的灯光开关、火灾等,为顾客的人身安全和门店的财产安全保驾护航。

  通过“北斗”系统,依据苏宁大数据技术及视觉算法将为智能零售注入智慧“大脑”,苏宁门店将会越来越更懂你,打造“知人知面更知心”的智慧门店,为用户创造极致体验,打造极致服务。

  

0
0
0
0
0
0
0
0
下一篇:没有资料

相关阅读

网友评论 ()条 查看

姓名: 验证码: 看不清楚,换一个

推荐文章更多

热门图文更多

最新文章更多

关于联系我们 - 广告服务 - 友情链接 - 网站地图 - 版权声明 - 人才招聘 - 帮助

声明:网站数据来源于网络转载,不代表站长立场,如果侵犯了你的权益,请联系客服删除。

CopyRight 2010-2016 阿宝运动器材网- All Rights Reserved