NoLBERT: A No Lookahead(back) Foundational Language Model
创建于 更新于
摘要
本文提出 NoLBERT：一个仅在1976–1995年语料上预训练的轻量时序化语言编码器，以消除lookahead与lookback信息泄露偏差，并在GLUE任务上优于若干领域模型；将其微调到专利文本后构建公司间创新相似网络，基于PageRank中心性增长发现能显著预测中长期利润增长，为带时序约束的经济预测提供可复制工具与实证证据 [page::0][page::3][page::4].
