PRAGMA: Revolut Foundation Model
创建于 更新于
摘要
本报告提出PRAGMA，一组面向多源银行事件序列的编码器式基础模型，采用key–value–time的离散化token化与双分支（Profile / Event）+ History Encoder架构，在26M用户、24B事件、207B tokens的语料上以masking自监督预训练，形成可广泛迁移到信用评分、欺诈检测、产品推荐、LTV等任务的通用记录级表示。[page::2] 在多个下游任务上，冻结嵌入+线性probe或LoRA微调均显著优于任务专用基线，例如信用评分PR-AUC提升约+130.2%，沟通参与PR-AUC提升约+79.4%，并通过小比例参数微调（~2%）实现高效特化与部署便利性。[page::0][page::9]
