`

KACDP: A HIGHLY INTERPRETABLE CREDIT DEFAULT PREDICTION MODEL

创建于 更新于

摘要

本报告首次将Kolmogorov-Arnold Networks(KANs)应用于个人信用风险预测,构建了KACDP模型。该模型在预测性能(ROC_AUC及F1值)上优于主流传统和机器学习模型,并通过特征归因分析及模型结构可视化,显著提升了模型解释性与透明度,满足金融行业对信用模型的严格监管要求,为金融机构提供了兼具高性能与高可解释性的创新信贷风险评估工具[page::0][page::1][page::4][page::6][page::8].

速读内容

  • KACDP模型创新点及核心优势 [page::1][page::3]

- 首次将带有可学习激活函数、无线性权重的KANs网络应用于信用违约预测。
- 结合Kolmogorov-Arnold表示定理,将多维函数表示为若干一维函数组合,兼具表达能力与良好解释性。
- 构建两个变种:KACDPOP(追求最佳性能)和KACDPOI(追求最佳可解释性),输入均包含涵盖信贷风险的10个关键信息变量。
  • 数据集和评估指标 [page::5]

- 使用公开GMSC个人信用数据集(22.4万条样本),包括借款人基本信息、信用历史、贷款记录。
- 采用ROCAUC和F1分数作为评价指标,充分考虑样本不均衡问题及精确率与召回率平衡。
  • 性能对比 [page::6]

| 模型 | ROC
AUC | F1 值 |
|------------------|----------|---------|
| Logistic Regression | 0.8503 | 0.9665 |
| XGBoost | 0.8634 | 0.9669 |
| Support Vector Machine | 0.8555 | 0.9665 |
| KACDPOP | 0.8670 | 0.9675 |
| KACDP
OI | 0.8640 | 0.9675 |
- KACDPOP模型在ROCAUC指标上领先,KACDP系列模型F1值同样优于传统模型。
  • 模型结构与训练设置 [page::3][page::4]

- KACDPOP网络结构宽度为[10,4,1],包含输入层、隐藏层(4神经元)、输出层,使用Adam优化器,学习率0.1,B样条参数grid=30,k=4。
- KACDP
OI结构简化到[10,1],突出模型解释性,B样条参数grid=80,k=4。
- 模型结构图详见封面图片,清晰展示不同输入特征及其处理路径。
  • 解释性分析 [page::7][page::8]


- 通过特征重要性分析,发现“总债务与月收入比率(x3)”和“信用卡使用率(x0)”对预测贡献最大,分别得分约2.28和1.35,其它特征贡献次之。

- 利用KACDPOI模型结构图可视化决策路径,清晰展示输入特征如何通过可学习激活函数映射,最终决定输出,强化了模型透明度。
  • 超参数敏感性分析 [page::11][page::12]

| Grid参数(grid) | ROC
AUC | F1 值 |
|---------------|---------|--------|
| 3 | 0.8498 | 0.9673 |
| 10 | 0.8584 | 0.9675 |
| 50 | 0.8613 | 0.9675 |
| 80 | 0.8640 | 0.9675 |
- 网格数增加提升ROCAUC,F1保持稳定。
| 优化器 | 训练时间 | ROC
AUC | F1 值 |
|---------|------------|---------|--------|
| Adam | 9.98秒 | 0.8584 | 0.9675 |
| LBFGS | 143.15秒 | 0.8637 | 0.9673 |
- Adam收敛更快,LBFGS稍优于ROCAUC。
| 学习率 | ROC
AUC | F1 值 |
|---------|---------|--------|
| 0.1 | 0.8632 | 0.9674 |
| 0.01 | 0.8553 | 0.9672 |
| 0.001 | 0.3788 | 0.3788 |
- 适中学习率有助于训练效果,过小导致模型性能急剧下降。
  • 总结:KACDP模型凭借KANs的独特结构和可学习激活函数,在信用风险预测任务中兼顾了高性能与高可解释性,符合金融监管对透明度的要求,具有广阔应用前景。[page::0][page::1][page::3][page::4][page::6][page::7][page::8][page::11][page::12]

深度阅读

金融研究报告详尽分析报告


报告标题


KACDP: A HIGHLY INTERPRETABLE CREDIT DEFAULT PREDICTION MODEL

作者与机构

  • Kun Liu,Jin Zhao

- 陕西财经学院信息学院

报告发表时间

  • 2024年11月28日


主题

  • 个人信用违约预测模型开发与评估,重点在模型的可解释性与性能提升。


---

一、元数据与报告概览



本报告旨在通过新颖的神经网络架构——Kolmogorov-Arnold Networks(KANs)——提出并构建一个高性能且高度可解释的个人信用违约预测模型,命名为Kolmogorov - Arnold Credit Default Predict(KACDP)模型。

传统信用风险评估方法存在性能瓶颈和解释透明度不足问题。相比之下,作者利用KANs的特性(无线性权重、可学习的激活函数,基于Kolmogorov-Arnold表示定理的结构)以应对高维、非线性金融数据的复杂性。该模型不仅在主流性能指标(ROCAUC与F1分数)上优于传统统计和机器学习模型,同时能够清楚展示决策路径与特征贡献,满足金融行业对模型透明度的高标准要求。

总体立场:提出的新模型在性能和可解释性两个核心维度均表现优异,具有较强的推广应用价值。[page::0,1] [page::4,5] [page::8,9]

---

二、逐节深度解读



2.1 摘要与引言部分(第0页至1页)


  • 核心论点:现有信用违约预测模型,尤其是基于深度学习的,性能虽强但缺乏良好可解释性,难以满足金融行业的监管与责任要求。

- 推理依据:传统统计(如Logistic回归)模型易于解释但难以捕捉复杂数据中的非线性关系;机器学习模型(如RF、SVM、XGBoost)能处理复杂数据但通常为“黑箱”;深度模型表达力强但缺乏透明性。
  • 引入KANs:该架构基于Kolmogorov-Arnold定理,能够将多元函数表示为一系列可学习的单变量函数组合,兼备高表达能力和解释性。

- 创新点:首次将KANs应用于个体信用风险预测,形成KACDP模型,并通过实验验证了性能和解释性的双重提升。[page::0,1]

2.2 相关工作综述(第1页至2页)


  • 传统方法回顾包括统计模型(贝叶斯分类,Logistic回归,Probit等)和机器学习模型(SVM、RF、XGBoost等)。

- 具体文献回顾显示统计模型虽然易解释,但性能有限;复杂深度模型提升性能但解释力弱,且法律法规(如欧盟数据保护法)限制了“黑箱”模型的应用。
  • 解释性方法的兴起(如SHAP、LIME)为黑箱模型带来一定透明度,但仍不完全满足金融行业需求。

- KANs相关研究展示其在科学与AI领域的解释力和性能优势,已有诸多延伸应用(图网络、物理信息,认知诊断等),但尚未应用于信用风险预测领域。[page::1,2]

3 方法论(第3页至4页)



3.1 KANs原理

  • 利用Kolmogorov-Arnold表示定理把多维连续函数转化为若干单变量函数的组合:

\[
f(\boldsymbol{x})=\sum
{q=1}^{2n+1}\Phiq\left(\sum{p=1}^n \phi{q,p}(xp)\right)
\]
  • 其中 \(\phi{q,p}\) 和 \(\Phiq\) 为可学习的单变量激活函数。

- 激活函数采用带基函数残差项的B样条函数组合以提高拟合灵活性和表达力。
  • 网络由多个KAN层串联(复合函数形式)。


3.2 KACDP模型结构

  • KACDPOP(最佳性能型):三层网络,输入10特征,隐层4神经元,输出1神经元。设计依据是性能与复杂度的平衡,即4神经元最优。[page::3]

- KACDP
OI(最佳解释型):两层网络,输入10特征,直接映射到输出,结构简洁便于理解决策路径。[page::4]
  • 两种模型均采用Adam优化器,学习率0.1,全批训练,B样条网格参数(grid)和阶数(k)依据性能细调。

- 输入特征涵盖借款人基本信息、信用历史及经济状况的多个方面。
  • 模型结构图示(图1)直观展示了两模型的决策与信息流路径,有助于模型透明化。


3.3 传统机器学习基准模型

  • SVM采用最大间隔原则优化分类边界;RF基于Bagging和多数投票策略提高稳定性;XGBoost继承GBDT结构引入二阶泰勒近似及正则项,增强准确性与效率。[page::4]


4 实验与性能分析(第5页至7页)



4.1 数据集与评价指标

  • 数据集:公开的GMSC个人信用数据,共22万+样本,10特征,含透支典型指标和家庭情况。

- 性能指标选择适应不平衡数据:
- ROCAUC度量模型区分正负样本能力;
- F1分数综合精确率与召回率,体现实际风险预警效能。

4.2 性能对比

  • KACDPOP的ROCAUC达到0.8670,高于Logistic回归(0.8503)、XGBoost(0.8634)和SVM(0.8555)。

- KACDP
OP和KACDPOI的F1值均达到0.9675,略优于传统模型。
  • 表1清晰展示了KACDP模型在性能指标上的领先地位,证明KANs结构有助于改善预测准确性。


4.3 模型解释性分析

  • 使用基于KANs内建特征贡献计算方法赋予的特征重要性分数来阐释模型决策。

- 图2展示KACDP
OP中,借款人债务比(x3,分数2.2836)和信用卡使用率(x0,1.3468)为最关键驱动因素;家庭成员数(x9)则影响较小(0.1967)。
  • 结构图与决策路径图(图3)展示输入特征通过可学习单变量函数变换后如何加总形成预测结果,让风险管理人员可追踪鉴别决策流程。[page::5,6,7,8]


---

三、图表深度解读



图1:KACDPOP与KACDPOI模型结构图(第4页)

  • 描述:

展示两个不同结构的KANs架构,OP模型含有中间隐藏层节点,OI模型结构极简。
  • 解读:

OP模型更复杂,中间层隐藏单元使其可捕获更丰富的非线性映射,适合追求最高预测性能;OI模型将所有输入通过独立激活函数后直接求和,提高模型决策路径的明晰性,利于解释。
  • 关联文本:

支持3.2节对两模型定位的说明,验证设计思路及目的差异。

表1:模型性能对比(第6页)


| 模型 | ROCAUC | F1值 |
|--------------------|---------|---------|
| Logistic Regression | 0.8503 | 0.9665 |
| XGBoost | 0.8634 | 0.9669 |
| Support Vector Machine | 0.8555 | 0.9665 |
| KACDP
OP | 0.8670 | 0.9675 |
| KACDPOI | 0.8640 | 0.9675 |
  • 解读:

KACDP模型在两个核心指标上均表现最佳,说明KANs的结构和机制能更好拟合数据特征,提升分类能力及正负样本识别精度。
  • 潜在限制:差异虽明显但不非常巨大,实际应用时仍需考虑计算复杂度等因素。


图2:KACDPOP特征重要性评分(第7页)

  • 描述:条形图形式显示10个输入特征对预测结果的贡献排序。

- 解读:
- 债务比(x3)贡献最高,表明财务负债状况是个人违约关键指标,符合信贷风险认知。
- 信用卡使用率(x0)次之,反映资金使用活跃度的重要性。
- 其他如逾期次数、开卡数量等均有中等贡献。
- 家庭赡养人数(x9)影响较小,可能对于违约概率影响有限或在该模型中信息不足。
  • 与文本结合:这一量化分析使模型不仅性能强,也公开了决策依据,消解“黑箱”疑虑。


图3:KACDPOI模型结构与决策路径示意图(第8页)

  • 描述:展示简易结构如何处理每个特征,通过对应激活函数生成单变量变换值,再通过加和得到输出预测。

- 解读:
- 可视化阐释了每个特征影响流程,方便业务方理解和监督模型行为。
- 决策路径图可视化了单个样本数据流转细节,为风控复核提供技术支持。

图4:训练损失随迭代步长变化趋势(第12页)

  • 描述:分别对不同学习率(0.1、0.01、0.001)下训练损失和测试损失的变化轨迹图。

- 解读:
- 学习率0.1时收敛速度快且稳定,表现最佳。
- 0.01时稍慢,性能轻微下降。
- 0.001时收敛慢且性能严重下降,表明学习率过低导致训练效果差。
  • 结合表4数据,展示了学习率对模型性能和稳定性的显著影响,优化参数阶段必须重点考虑。


---

四、估值分析



本报告侧重于模型结构与预测性能,不涉及金融公司估值等传统意义上的财务估值分析。模型性能提升意味着风险定价能力增强,间接助力金融机构风险管理效率提升。[page::4-9]

---

五、风险因素评估


  • 该研究未特别针对商业风险或外部宏观经济风险,但强调了模型可解释性对金融监管合规和业务透明度的重要性。

- 模型易受输入数据质量和特征选择影响,未来研究应考虑数据偏差与异常情况对模型鲁棒性的影响。
  • KACDPOP与KACDPOI两模型分别在性能与解释性之间权衡,实际部署时需根据机构需求选择合适模型结构。


---

六、批判性视角与细微差别


  • 假设依赖性与泛化能力:报告基于GMSC公开数据集,实际应用时需验证模型对不同地区或信贷场景的泛化能力。

- 性能提升幅度:尽管KACDP模型性能领先,但提升幅度相对有限,进一步提升可能需要更多特征融合或模型创新。
  • 解释性量化方法依赖:特征重要性评分以迭代计算贡献得出,可能受训练过程与参数调节影响,需谨慎解读。

- 复杂度与实用性权衡:高性能模型通常结构复杂,实际部署中需权衡计算资源与实时性要求。
  • 法规适应性:理论解释性满足监管需求,但具体合规还需结合模型开发全过程透明度和决策责任机制。


---

七、结论性综合



本报告系统介绍了基于创新神经网络架构KANs的个人信用违约预测模型KACDP及其两种结构变体。模型以Kolmogorov-Arnold定理为理论基础,将多维非线性信用风险映射转化为单变量函数组合,极大提升了模型的表达能力和解释性。

具体收获包括:
  • 性能优势:在公开大规模信用数据集中,KACDPOP表现出0.8670的ROCAUC和0.9675的F1评分,明显优于传统的Logistic回归、XGBoost及SVM模型。

- 诠释透明:通过特征重要性评分和结构可视化,KACDP有效揭示模型决策路径,为金融机构提供了可信赖的风险解释工具,符合严格监管需求。
  • 模型设计创新:学习型激活函数结合B样条插值提供了灵活且高效的非线性拟合方案,并通过合理网络深度宽度设计平衡了性能和解释性。

- 超参数分析:细致的超参数敏感性研究为模型调优提供了指导,尤其强调学习率与网格划分对模型稳定性与表现的关键影响。

总之,该研究为金融业个人信用风险管理提供了一个技术先进、性能优越且透明可控的新型预测工具,开辟了金融风控领域应用神经结构定理模型(KANs)的新路径,有望在实践中得到广泛采纳。

---

八、图表引用


  • KACDP模型结构图

- 特征重要性分析图
  • KACDP_OI结构与决策路径图

- 训练损失曲线图

---

参考引证


本文详细解读基于报告第0-13页的数据内容,严格标注如下:[page::0-13]

报告