在信贷风控模型开发中,一个根本性的挑战在于:我们只能观察到被我们“批准”的客户的真实表现(好坏标签)。对于那些被原有策略或模型“拒绝”的客户,我们无从得知如果他们获得贷款,究竟会按时还款(好客户)还是违约(坏客户)。
如果我们仅使用“放款样本”来开发新模型,就会陷入样本选择偏差的陷阱。这个样本并非从全体申请人群中随机抽取,而是经过原有规则筛选后的“好子集”,它高估了整体申请人群的信用质量。基于此训练的模型,在面对全新的、未被筛选的申请人群时,其预测准确性和稳定性可能会大打折扣。
拒绝推断正是为了解决这一问题而诞生的一系列技术。其核心思想是:利用已知的“放款样本”信息,去推断未知的“拒绝样本”的潜在表现,从而构建一个更接近真实申请人群的、无偏的训练数据集。
本期主要介绍评分模型中的拒绝推断方法及应用,主要包括以下内容:
(一)基本概念:KGB模型 vs. AGB模型
(二)拒绝推断的主要方法详解
(三)不同拒绝推断方法优劣势对比
(四)拒绝推断注意事项
(五)总结
一、基本概念:KGB模型 vs. AGB模型
在深入介绍拒绝推断方法之前,我们必须理解两个基础但关键的概念:KGB模型与AGB模型。这是拒绝推断中用于定义样本范围的两种模型,它们的差异是理解所有方法的前提。
1.KGB模型
全称: Known Good Bad
定义: 仅包含那些已被放款且已知好坏状态的客户。这是我们唯一拥有真实标签的数据源。
特点: 数据纯净,但存在严重的样本偏差。它是所有拒绝推断方法的起点和信息来源。
2.AGB模型
全称: All Good Bad
定义: 包含全部申请人群,包括KGB样本(已知好坏)和拒绝样本(推断出的好坏)。
特点: 通过拒绝推断技术构建,旨在模拟真实的申请人群分布,是训练最终风控模型的数据集。
简单来说,KGB是“我们看到的世界”,而AGB是我们通过推断试图还原的“真实世界”。拒绝推断的过程,就是将KGB模型转化为AGB模型的过程。
二、拒绝推断的主要方法详解
拒绝推断方法多种多样,从简单到复杂,可以分为以下几个大类和小类:
(一)简单赋值法
这类方法基于简单的假设,为拒绝样本直接分配标签。
1)全部设为坏(All Rejected as Bad, ARAB)
操作: 将所有拒绝样本标记为“坏客户”。
逻辑: 认为原有拒绝决策基本正确,被拒绝的客户风险很高。
2)全部设为好(All Rejected as Good, ARAG)
操作: 将所有拒绝样本标记为“好客户”。
逻辑: 认为原有策略过于保守,拒绝了许多本可盈利的好客户。
3)随机赋值(Random Assignment)
操作: 根据KGB样本中的“好坏比”,随机地将拒绝样本标记为好或坏。例如KGB样本中,坏账率是10%,把认为拒绝样本中坏账率也是10%,随机对10%的客户打上坏的标签,另外90%的客户打上好的标签。
逻辑: 假设拒绝样本中的好坏分布与通过样本一致。
(二)外推法
这类方法稍微复杂,通过构建模型来推断。即通过KGB样本,先开发评分模型,再基于评分模型对拒绝样本做好坏标签推断,最后再合并KGB样本与拒绝样本开发AGB模型。
1)打包法(Reject Inference e.g. Augmentation)
操作:
a)使用KGB样本训练一个初始的风险评分卡/模型。
b)将这个模型应用于全部申请样本(包括通过和拒绝),为每个人计算一个信用分数。
c)假设“分数相同的客户,其好坏概率也相同”。
d)对于每个分数段,根据通过样本中观察到的坏账率,为该分数段内的拒绝样本随机分配好坏标签。例如,分数段600-620区间,坏账率是10%,则这个分数段中的拒绝样本,随机对10%的客户打上坏标签,其余90%为好标签;580-600区间的坏账率是20%,则随机对20%的客户打上坏标签,其余80%为好标签,以此类推。
在业务实践中,会增加一个惩罚系数来调整拒绝样本的坏账率,惩罚系数一般定为2-3倍,假设惩罚系数为2倍,分数段600-620区间KGB样本的坏账率是10%,则认为这个分数段拒绝样本的坏账率为10%×2=20%,即认为拒绝样本的坏账率是KGB样本的2倍,因为在认为当前策略是有效的前提下,拒绝的样本风险要比通过样本高。
逻辑: 用通过样本的表现来“镜像”推断拒绝样本的表现。这也是目前业界比较常用和直观的方法之一。
2)模糊法(Fuzzy Augmentation)
操作: 与打包法类似,但不进行硬性的“好/坏”赋值。使用KGB样本开发一个初始模型,将这个模型应用于拒绝样本上,为每个拒绝样本计算一个评分和对应的坏账率,例如,一个拒绝样本如果根据模型预测其坏账率为30%,那么它就有30%的概率被标记为“坏”,70%的概率被标记为“好”。这时,不对这一个样本标记为好或者坏,而是把一个样本拆成两个样本,一个是坏样本,对应权重是0.3,一个是好样本,对应权重是0.7,两个样本除了权重不同,其余信息一致,其他样本也是类似操作,一个样本拆成两个样本,把坏账率作为权重,最后再合并KGB样本与拒绝样本开发AGB模型。
这个过程可以通过多次迭代生成多个数据集。这种方法也是比较常用的方法,我在过去模型开发过程中,如果需要做拒绝推断,我比较喜欢用这种方法,因为这种方法不强制把样本划分为好或坏,而且同时认为有一定的概率好和坏,用权重去衡量这种关系。
与打包法类似,模糊法在业务实践中也会增加惩罚系数,一般也是2-3倍,即假设根据KGB模型,预测一个拒绝样本的坏账率是10%,惩罚系数是2倍,则认为这个拒绝样本的坏账率最终为10%×2=20%,最终把这个拒绝样本一拆二,坏样本对应的权重为0.2,好样本对应的权重为0.8。
(三)高级建模法
这类方法将“是否被拒绝”和“好坏表现”整合到一个统一的建模框架中。
1)迭代再分类(Iterative Reclassification)
操作:
a)用KGB样本训练模型M1。
b)用M1对拒绝样本打分,并选择其中分数最高(风险最低)的一部分,暂时标记为“好”。
c)将这部分新标记的“好”样本加入KGB,重新训练模型M2。
d)重复步骤2和3,直到模型稳定或满足停止条件。
逻辑: 逐步“挖掘”拒绝样本中潜在的好客户。
2)两阶段模型(Two-Stage Modeling)
操作:
a)阶段一(通过/拒绝模型): 使用全部申请数据(特征:X,标签:是否通过)训练一个模型,预测申请通过的概率P(Accept|X)。
b)阶段二(好坏模型): 使用KGB样本训练模型,但引入一个权重来纠正偏差。权重通常与P(Accept|X)成反比(即一个通过概率很低的客户,一旦通过,其信息权重应更大)。
逻辑: 通过加权的方式,让模型在训练时更关注那些“特征类似于拒绝客户”的通过客户,从而间接学习到拒绝客户的风险模式。
三、不同拒绝推断方法优劣势对比
以上三大类七小类拒绝推断方法优劣势对比如下:
在实践中,比较常用的方法是打包法和模糊法,这两种方法用得较多。
四、拒绝推断注意事项
拒绝推断并非万能灵药,实践中需格外小心,在应用时有以下注意事项:
1.核心假设的脆弱性:所有方法都基于一个无法被完全验证的假设,打包法假设“同分同风险”,但拒绝样本的整体环境可能与通过样本不同(例如,他们可能更脆弱,对经济波动更敏感),即使加了惩罚系数,这个系数也是一个假设。必须清醒地认识到,任何推断都包含不确定性。
2.模型复杂性与稳定性:并非所有场景都需要复杂的拒绝推断,如果拒绝率很低(<5%),使用简单方法或甚至不用,影响可能不大,复杂的推断方法可能引入不必要的噪音和不稳定性。
3.验证的挑战:如何验证拒绝推断的效果?由于拒绝样本的真实标签永远未知,我们无法直接评估,通常采用间接验证:
1)时间外/样本外验证:使用未来一段时间的新通过样本(这些客户的风险策略可能更接近新模型)来检验AGB模型的表现。
2)模型稳定性:检查AGB模型在通过样本和推断样本上的特征分布(PSI)是否稳定。
3)小范围实验(冠军挑战者模式):这是最可靠但成本最高的方法。在新模型上线初期,以小比例随机通过一部分原策略会拒绝的客户,观察其真实表现,并与模型的推断进行对比。
4.与策略的联动:拒绝推断的目标是开发一个更好的模型,以优化未来的风险策略。在模型部署时,需要明确新模型将如何改变原有的决策边界,是为了在风险不变的情况下提升通过率,还是在通过率不变的情况下降低风险。
5.数据质量要求:拒绝推断的效果严重依赖于申请特征数据的质量。如果拒绝样本的特征数据缺失严重或质量差(因为当初未被认真处理),那么任何高级方法都将失效。
五、总结
拒绝推断是信贷风控模型从“经验驱动”走向“数据驱动”的关键一步,是克服样本选择偏差不可或缺的技术。从简单的KGB模型到更接近真实的AGB模型,通过一系列技术手段弥补了数据的缺失。
至于选择何种方法,需在复杂性、稳健性和业务需求之间取得平衡。打包法与模糊法因其良好的平衡性成为业务实践中的主流,而两阶段模型则为追求理论严谨的场景提供了方向。
需要说明的是,任何的拒绝推断方法都包含很多假设和不确定性,在应用拒绝推断方法时需要格外谨慎。但是,无论用何种方法,KGB也好,AGB也好,对业务逻辑的深刻理解、对模型假设的审慎评估,以及通过严谨的实验进行验证,这些风控建模的基本原则将永远不会过时。
模型拒绝推断的内容到这里就结束了,近期有小伙伴让谈下反欺诈策略的设计与如何评估策略的好坏这两部分内容,这两分部内容本来也是在规划中的,只是未来两周的内容已经写了一大半了,未来两周的内容分别是【风险策略专题:贷中风险管理体系设计】【风险报表:风险监控报表体系设计】,这两周的内容写完之后,会优先整理自己理解的反欺诈与策略好坏评估的内容。