【51CTO.com原创稿件】 随着互联网+的深入发展，线下零售业正迎来颠覆式发展、重新洗牌的转折。
作为在行业中实践线上线下融合的企业，苏宁已经掌握了智慧零售的先发优势，迎来了全面爆发的时刻。
2018 年，苏宁更是提出了“造极”的发展方向，意在以极客精神，极速的方式，创造出智慧零售的极物。
“北斗”系统作为一款集大数据、人工智能于一体的智慧零售产品，将为苏宁线下发展提供强大的技术支撑。
“北斗”系统建立的初衷
对于线下门店，经营好坏的关键因素是什么？总的来说，是门前客流、进店客流、成交单数、销售额、客单价等指标。
而其中，尤为重要的便是客流，这是实现销售经营目标的前提。客流量不仅仅影响店铺运营策略，更是成为投资决策、发展前景和经营效果评估的重要依据。
通过客流数据分析，我们不仅可以了解场所实时客流状态并预测未来客流发展情况，而且能够更好地制定针对性营销策略、调整商品、广告摆放展位、顾客动线设计等等。
基于此实际需求，苏宁“北斗”系统是一款为门店服务研发的数据产品，依据线下监控视频数据资源，利用视频图像识别技术，融合视频处理、图像处理、模式识别以及人工智能等多个领域的技术，彻底颠覆了一直以来依赖人工统计或传统方式的数据统计方式。
并且提供了一套更为精准、细化的门店顾客分析数据，为门店的智慧经营提供一套技术解决方案。
“北斗”系统平台架构演进
统计客流一直是门店经营需求中的一个痛点，作为经营管理者，每天首先也是最关注的是每小时、每天、每周来了多少顾客、出去多少顾客、在店多少顾客等等。
为了获取这份数据，苏宁在这块需求上大致经历了以下三个阶段：
人力计数
早期，我们为了获取各个门店的客流数据，每个门店都会在门口安排一个人员进行人工统计，然后再通过后台系统进行维护，这样总经理、店长等管理人员可以大概获取到一个进店人次的数据。
然而缺点也很快暴露出来：
- 统计人员很难做到长时间注意力保持高度集中，导致容易存在漏数。
- 成本方面，一个门店多则几十个门，少则 4-5 个门，人力薪资成本比客流设备投入高很多。
这样做不仅耗费人力而且工作量大，不能形成成套体系的数据积累和参考依据，因此，这个方案在推行的过程中慢慢被大家放弃了。
WiFi 计数
随着互联网的发展，WiFi 技术遍地开花后，每个门店开始安装免费 WiFi，让来店顾客通过连接 WiFi 的方式实现来店顾客的计数功能。
在技术上采取手机 MAC 地址进行人数统计，还可以根据手机的 IP 进行顾客在店内行动轨迹的追踪以及判断新老顾客。
但弊端是：
- WiFi 客流统计需要在监测范围保证 WiFi 信号都能覆盖到，并且信号要稳定。
- 顾客的手机要连接上 WiFi 信号才能够作为统计的来源。
- WiFi 信号的偏移较大，偏移在 6-10 米，这样会造成数据失真。
这三点就严重影响了数据的准确性，无法保障数据的参考价值和分析意义，从而不具备数据的指导意义。
视频计数
随着人工智能技术的发展和成熟，图像识别技术渐渐走向商化应用，依据门店现有的监控数据，利用视频识别技术，可以实现将视频画面的活动物体提取、识别、跟踪等，从而获取到完整的顾客在线下的用户行为数据。
该数据不仅全面、完整，而且还覆盖了全场景的数据，有效的支撑了数据化的运营管理，为门店的运营提供强有力的数据依托。
视频计数的关键主要有以下三个环节：
人脸检测
以门店部署的高清摄像头采集的视频流作为输入，可以实时检测跟踪画面中的 20 个目标人脸。
同时，由于深度学习算法的应用，对人脸的多种角度、多种姿态甚至局部的遮挡，都能轻松检测、跟踪。
***人脸采集
这也是一个容易忽视的环节，门店摄像头采集视频流实际每秒产生 30 帧的画面，当有人员经过的时候，其实采集了大量的人脸捕获数据。
我们通过跟踪算法跟踪每个人员的轨迹，采集一组视频帧截图，然后通过人脸朝向分析、图像模糊检测分析、人脸质量打分模型从中挑选出一张质量***的人脸照片，并进入到下一环节。
人脸识别比对阶段
人脸识别技术已相对成熟，随着深度学习技术在人脸识别应用中的不断成熟，各家人脸识别算法之间的准确率的差异仅体现在小数点后几位。
LFW (Labeled Face in Wild) 是人脸识别研究领域的最重要人脸图像评测集合之一，其包括 5749 个人的人脸数据，均来自实际场景，包含自然的光照、表情、姿势、遮挡等干扰因素，甚至包含年龄变化、化妆等复杂的干扰因素。
目前苏宁大数据中心算法团队在该数据集上达到 99.70% 的准确率，与目前该数据集***指标 99.83% 差距很小，达到行业***水准。
能够取得这样的准确度，有三个决定性的要素：算法模型、训练数据、计算能力。
对于线下门店这种大规模的开集合的人脸识别应用，算法模型面临的***挑战就是大规模一对多人脸识别准确率的问题。
为了解决这个问题，首先，我们将标准 SoftmaxWithLoss 中的 inner product 去除偏执项，同时对权重 w 和神经元 x 进行 L2 norm，将问题转换为角度约束的问题。
其次，我们通过改进损失函数，增加 angle margin，来提高相同 id 的类内相似度，降低不同 id 之间的类间相似度，通过这种 angle margin 的改进，我们可以压缩大部分 id 的人脸特征子空间。
***，我们认为人脸识别的难点，比如极为相似的人脸识别问题甚至双胞胎的人脸识别问题，用***全局的约束是无法满足 angle margin 分类条件的，这也是为什么 angle-softmax 训练的时候 loss 会很大的原因。
针对 angle-softmax 训练的时候 loss 会很大这一问题，我们增加了 metric learning 进行微调，针对 hard example 进一步添加局部约束。
具体方法是使用三重损失函数 tripletloss，使用三幅图像集合：固定 anchor A、正例图像 P、反例图像 N 进行训练，目的是让 A 与 P 的距离小于 A 与 N 的距离。
通过以上步骤构建训练的基于深度残差卷积神经网络以及相似 id 差异正则优化构建的网络模型，结合我们算法自动预标注的人脸样本以及少量的人工校准构建的***别的训练数据集，我们将我们的人脸识别准确率提升了 7 个百分点左右。
除了模型的改进，同时我们有 6 台高性能的 GPU 服务器组成的集群可以快速验证迭代算法，使我们的算法模型更新速度从几周更新一次到十几小时更新一次，让不同的算法合成适配不同的场景，让算法更精准。
苏宁拥有 18 万员工以及几千家门店，2018 年还计划增加 5000 家门店，通过人脸识别技术在苏宁内部以及线上线下的应用，我们的人脸识别算法能力还会进一步的迭代提升。
“北斗”系统建设的关键点
苏宁“北斗”系统使用了背景模型 + 人脸识别+ 3D 深度信息+多目标跟踪 + 深度学习网络的整套算法解决方案。
在目标跟踪算法上，我们对当前的流行算法做了详细的研究。KCF 是一种近期流行的目标跟踪算法。
该算法是在跟踪过程中训练一个目标分类器，使用目标分类器去检测下一帧预测位置是否是目标，之后再使用新的检测结果去重新训练，以获得新的目标分类器。
卡尔曼滤波是一种经典的滤波方法，它是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行***估计的算法。
我们将单目标跟踪的 KCF 算法扩展到多目标跟踪。在客流统计系统中，在不改变其他框架的基础上，沿用原有的前景建模和匈牙利匹配。
以前几帧检测出的目标为跟踪目标，将多目标 KCF 跟踪算法融入其中，实现多目标的同时跟踪。
经过详细比较发现，在多目标跟踪时，KCF 算法存在速度上的缺陷，占用时间较长，难以满足我们实时性的要求，因而我们最终还是选用了卡尔曼滤波作为我们的基础跟踪算法。
在识别算法上，我们以基于深度学习的 SSD 学习网络为基础，根据实际情况，进行了进一步的优化和改进，并整合到我们的整个北斗系统当中。
依据苏宁强大的大数据计算能力和人脸识别技术，通过分析店外和店内的用户属性及行为信息，不仅可以为店铺的智能推荐、营销、服务、以及店铺的购物动线、商品及货架陈列，提升更好的导购服务。
还能促使线下门店实现数据化和智能化，改变门店运营方式，让门店具有思考能力，拥有一颗智能的“大脑”。
店外顾客关注
“进店率”是影响门店是否具备吸引力的一个重要指标，我们如何有效的分析“过客”是怎么样的一个群体，对于目前的线下场景还是一个“黑盒”。
如何获知路过消费者有多少，并且他们的特征画像是什么，目前对于门店经营管理者也是一个急切的需求。
而苏宁大数据团队利用识别技术，结合人脸识别、人体轮廓跟踪、人脸特征点等算法技术，有效的分析出了路过人群的数量、群体规模、男女和性别分类，以及进店人群的特征等数据，为门店经营者制定个性化的营销策略提供了数据支撑和保障。
店内顾客关注
对于进店顾客来说，顾客的来店动机、行为轨迹、关注热点、购买意向是门店管理者对于到店顾客的另一大痛点要求，如何实现这块数据的采集、分析和应用也是“北斗”系统的一大特色。
在算法的层面上，为实现***的效果，需要配合安装特定摄像头，并实现摄像头安装高度和角度的精准控制。
为了节省成本，我们使用了店内原有的监控摄像头，不改变原有的任何安装高度和角度。
在算法上，我们首先研究了基于多通道特征的 ACF 算法，将算法进行了工程化的实现，对算法的精度和速度进行了测量。但是发现该算法应用在我们的场景中时，精度不能让人满意。
为了实现更高精度与性能的要求，我们使用了深度学习中的小网络系统，并与检测算法中的深度学习 SSD 模型相结合。
通过视频的采集，将视频中的目标进行具体的标注，算法的微调，训练自己的模型等步骤，实现了热力图中的相关功能。在计算精度和计算速度上都达到了原定的要求。
“北斗”系统的智能化服务
“北斗”系统下一步将布局的智能化服务包括：
- 智能导购：老客的识别，通过提取顾客每次来店的特征点，当顾客下次到来的时候，根据其上期的数据为其精准服务；新客的引导，根据新客到店关注的信息、行进的速度进一步预测顾客需要什么，为其精准推荐。
- 智能支付：当顾客选好自己喜好的商品后，只实现人脸自动支付，提升服务速度和质量。
- 智能预测：根据每日、每周、每月顾客对商品的关注度，合理调整商品出样及库存铺货，将为用户提供更喜欢的商品和更短的取货服务。
- 智能防控：重点人群监控、踏板监控、晚间的灯光开关监控、火灾监控等，为顾客的人身安全和门店的财产安全保驾护航。
通过“北斗”系统，依据苏宁大数据技术及视觉算法将为智能零售注入智慧“大脑”，苏宁门店将会越来越更懂你，打造“知人知面更知心”的智慧门店，为用户创造***体验，打造***服务。
曹林龙，苏宁易购大数据技术专家，目前主要负责计算机视觉识别及分析在苏宁的应用落地。在大数据平台工具和图像识别应用等方面拥有多年的实践经验，曾负责过苏宁统一数据报表平台、大数据平台的建立，主导过视频分析、商品识别等技术的应用。在数据营销方面经验丰富，喜欢钻研、研究和实践业界前沿的数据处理和技术，展现数据中蕴含的价值。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
