恒昌:数亿实体和数十亿关系的图数据库在风控上应用

企业动态

 近日,知名快递公司顺丰和电商巨头阿里巴巴争端甚嚣尘上,这次争端意味着“数据”已然成为商业必争的“资产”。因此,伴随大数据时代来临,数据获取、存储、分析等一系列技术的研发和应用已经得到了众多企业的关注。

作为大数据开发利用的重要组成部分,就数据存储而言,图数据库是利用图的特性来对数据进行存储管理,并对传统图的概念进行了扩展。越来越成熟的数据模型,使得利用事物(即“节点”或“实体”)及事物之间的联系(即“边”或“关系”)来对各类业务场景进行抽象变得更加容易。也正因为图数据库基于图论的理论和算法实现,相对于关系型数据库,它也更擅于处理网状的复杂关系。此外,图数据库通常都支持对图数据模型的增、删、改、查(CRUD)方法,并较多地用于事务(OLTP)系统中,被应用系统实时访问。

图数据库作为恒昌知识图谱的底层存储方案,是多方数据的知识融合及提炼后进行汇聚的场所,为恒昌丰富的服务线与数据技术间的承转起着重要作用。由于Neo4j 是目前最成熟的图数据库之一,恒昌广泛使用 Neo4j 作为知识图谱底层图数据持久方案,基于其优异的事务能力而提供实时的数据查询功能。此外,恒昌还在 Titan、Gaffer 等分布式图数据库或计算引擎上有着深入的研究。

目前,恒昌的图数据库已经融合了多方数据,包括业务系统主要服务线各阶段的数据、用户授权数据等。这些数据形成的实体规模已过亿、形成的关系已多达数十亿。随着用户数量的提升,这个数据还在持续增长。因此,基于图数据库开发的知识图谱正在发挥着越来越大的作用,目前已经上线或待上线的技术平台覆盖了客户失联修复、反欺诈规则引擎、欺诈团伙调查等,近期还会覆盖风险预警等方向。

1.欺诈团伙调查

图数据库能通过“实体”和“关系”这种简单直观的描述方法来表述现实世界中错综复杂的关联关系。它可以提供逐层挖掘的方式,引导逐步深入分析各种关系;还可以快速呈现实体之间最新的关系变化,积累更新的知识和经验;也可以清晰地呈现复杂关系间的联络线索,为判断事件来龙去脉提供有效引导。此处,以恒昌的客户为例,参考图1中的客户徐某(因数据安全的原因,部分信息作了涂抹,并对原有图结构进行了简化),如果仅考虑该客户自己填写的信息,虽然能看到一度关联信息,但完全看不出该结构会有什么问题,也无法进行深入调查。

图1客户徐某借款时的联系人信息简化图

当关联信息得到补充(相对于原进件联系人,补充了同事、邻居、亲属、朋友等关系,还基于用户授权数据进行了深度扩展)后,暂不考虑物品(如手机号、银行账号、地址等),仅考虑自然人,获取徐某二度关系内同时在恒昌网贷平台有借款行为的用户,得到图2(基于同样原因数据有涂抹及简化)的结果。该图每一个圆都代表一位恒昌客户,图顶部的状态说明了客户当前所处状态。观察左下角以徐某为中心的四个客户(已用红框标出),他们刚好是所呈现图的最大完全子图,符合图论中团的定义。再看除徐某外的三个客户:两个逾期、一个被拒。如果徐某是新入图数据库的借款人,从数学模型的角度看,几乎可以直接判定拒绝。因为符合这种状态的团,是欺诈团伙或是组团代办的几率非常大。

图2客户徐某补充关系类型后的一度及二度关联信息

到这时工作并未完结,如果有需要,可以基于图中的关系尝试与几位客户联系以进行深入背景调查证实,调查的结论可以融合到图数据库中形成数据闭环,直接改善后续自动化预警的结果。

2.风险事件预警

尽管对欺诈团伙调查能取得不错效果,但因其可能需要调查员随时联系客户或联系周边人群以验证调查员的推论,因此整体成本还是相当高的。为了解决这个问题,基于模型的风险事件预警就应运而生。如果说欺诈团伙调查是主动出击,风险事件预警更像是被动防御。

风险事件预警是通过模型生成一组类似上述欺诈团伙调查中出现的场景,给每一个场景一个相对低一些的初始置信度,后期通过不断的反馈迭代来优化置信度。当一个新客户到来之后,首先会将其信息整合到知识图谱中。紧接着,该客户会被规则引擎捕捉到,规则引擎会基于客户信息从知识图谱中提取一组特征,由该特征决定了引擎首先会触发哪些场景,而这些场景的结论可能导致规则引擎又触发另外一组场景。在满足特定条件下,最终结果输出,如果有相应的风险事件被触发,则信息会送达相关团队。

风险事件预警最有意思的地方在于,一个新客户的到来,可能会导致一个早先客户的风险事件被触发。这主要是因为新客户融入到知识图谱中时带进的新数据,可能会让图谱中的某些子网的结构发生彻底的改变。目前恒昌采用一组启发式的算法来扩展新进客户的影响,效果显著。这也意味着,风险事件预警并非只针对贷前风险事件,还会将贷后风险事件作为预警。比如触发了某个老客户的潜在逾期风险时,就可以引导相关团队提前关注,在情况恶化前及时止损。

3.失联修复

如果客户奔着欺诈而来,那几乎也注定了后续无法联系上,称此类失联为“第一类失联”。“失联”是无法完全避免的,主要是因为失联的成本很低。即使客户自身“消失”的意愿不高,但换手机号、搬家、换公司都可能导致客户及其联系人完全联系不上,称此类为“第二类失联”。

将图数据库应用于失联修复是非常直观的,因为图数据库在数据丰富的条件下能非常方便地进行各类关系的提取。恒昌的失联修复项目结合了知识图谱(基于图数据库)及传统的机器学习技术,前者作为修复策略的具体联系方式来源,后者作为策略有效性的评估依据。目前,恒昌能做到失联客户实时修复,修复专员完成具体操作后会有相应的备注及日志信息,这些数据会被实时收集用于改进修复策略。

本文仅拿众多策略中较为容易理解的一条来略作说明,这条策略主要是从图数据库中提取和失联客户处于同一公司,且当前住址与失联客户接近的用户作为修复中间人。虽然是一条简单的策略,但深入思考会发现,国内有很多规模不小的工厂会吸引周边村子的人去工作,而这些村子可能本身规模也不小,这样修复中间人不见得认识失联人。因此这条简单的策略背后也需要有一个启发式算法,通过公司/工厂的规模来调整当前住址需要匹配的粒度(比如,是到村、到组、还是得具体到门牌相邻)。更进一步,如果在此基础之上,修复中间人和失联人有过通话记录往来或是有通讯录关联(事实的条件远比这个复杂),就大幅增加了该修复中间人的置信度,甚至可以基于此条件在图数据库查询过程中提前中止,直接返回相关结论。以上操作基于图数据库可以将数据一次取出再进行处理,基本是毫秒级响应,如果触发了提前中止,耗时可能更短。但如果基于关系型数据库,首先会涉及多张业务表的检索、关联,其次还可能按照初次处理结果多次连接数据库,造成数据库资源的浪费。

实际中,恒昌通常会混合使用多种数据库,以利用它们各自的特点来创建一个数据生态系统。除了图数据库外,大规模的用户授权数据会让恒昌在底层配上分布式的列式存储或键值存储库。但回归根本,恒昌期望为客户提供高效、安全的财富管理及借款信息咨询与服务,就需要优秀的风险控制作为保障。而这,恰恰也是图数据库能最大程度发挥价值的领域之一。

 

责任编辑:润月 来源: 中国网
相关推荐

2019-05-07 16:30:18

TigerGraph数据库金融风控

2022-07-13 16:42:35

黑产反作弊风险

2017-02-24 19:45:58

2024-01-18 17:39:00

数据库存储索引

2023-05-29 08:04:08

2023-05-31 07:22:45

2023-09-15 07:28:02

2023-10-16 13:26:00

RDBMS关系数据库

2022-06-14 16:38:42

行为序列机器学习黑产

2022-11-23 14:08:49

2020-11-04 09:41:07

大数据信贷技术

2021-09-22 15:15:45

谷歌隐私网络安全

2023-10-26 06:55:17

风控系统应用

2015-09-18 23:03:54

2013-01-22 17:33:30

2012-05-23 09:32:01

2022-08-12 15:02:31

应用探索

2020-09-17 11:02:40

BLESA蓝牙攻击漏洞

2023-08-01 14:35:00

关系数据库排列

2018-07-30 10:16:19

存储关联数据
点赞
收藏

51CTO技术栈公众号