注册 / 登录

反欺诈模型在电商领域的实践与应用

分会场:  人工智能/AI驱动/AI实践

 

案例来源 :

案例讲师

陈一鸣

某电商 research science manager

陈一鸣,在西雅图某电商任职research science manager。他曾就职于Home Depot (家得宝), Capital One (第一资本金融公司) 和 John Hancock (宏利金融)等公司。目前主要是带领数据科学家团队做第三方卖家平台上反欺诈和反侵权的模型设计。曾被金融组织Limra评选 25 rising stars of innovation under 40。

扫描二维码分享案例

 

案例简述

 

美国某电商第三方卖家平台自从2010 年后迅速壮大。至今已占其40%销量。但是大批的卖家质量参差不齐。其中侵权和欺诈的货品对客户伤害最大。商品存在多种欺诈行为:
a.侵权 (版权和商标)
b.欺诈 (拿单就撤)
c.刷单


我们团队运用AWS平台和大数据架构,通过spark的建模方式来给大部分商品进行建模。

 

案例目标

 

此案例主要解决第三方卖家的商品欺诈行为。

商品存在多种欺诈行为:

1)侵权 (版权和商标)

2)欺诈 (拿单就撤)

3)刷单


我们需要通过模型来有效的将不良商品下架。我们团队主要解决2个难题:


1)如何处理千万级的数据量

2)如何自动更新模型


 

成功(或教训)要点

 

通过AWS s3的大数据存储为基层构造数据管道。模型特征的数据自动化和依赖管理令到模型自动化的可能。通过spark 的scala建模, 我们构建了多种nlp和XGBoost 的数据模型。在aws 上通过大型emr clusters 来对上千万级的数据进行打分。

 

案例ROI分析

 

得到70%的precision 和30%的recall

 

案例启示

 

1)数据架构非常重要。大数据的建模需要完善的数据管道的架构。如果数据管道的架构能够完善,那数据科学家60%的工作就已经完成了。

2)使用多种NLP 和 emsemble learning 的方法能够得到更好的模型结果。


 

案例在团队中的意义

 

如何创造建模自动化,如何通过spark 的运用去处理千万级别的商品建模