Multilingual hierarchical classification of job advertisements for job vacancy statistics
创建于 更新于
摘要
本报告提出了一种基于预训练transformer的多语言层级分类器，用于将在线招聘广告自动分类至多达2911个职业代码，覆盖24种语言。通过利用波兰官方手工编码的职业数据库及大规模行政数据，结合bottom-up和top-down两种层级概率估计方法，模型在多个层级（1至6位代码）展现出较高准确率，top-down方法显著提升性能。报告详细评估了数据质量、长尾标签分布及多语言翻译对分类效果的影响，并公开了训练数据和模型代码以便官方统计和科研应用 [page::0][page::2][page::9][page::25][page::30][page::34][page::35].
