《小王爱迁移》系列之七：负迁移
由iquant创建，最终由iquant 被浏览 6 用户
如何理解负迁移
要理解负迁移，首先要理解什么是迁移学习。迁移学习指的是，利用数据和领域之间存在的相似性关系，把之前学习到的知识，应用于新的未知领域。迁移学习的核心问题是，找到两个领域的相似性。找到了这个相似性，就可以合理地利用，从而很好地完成迁移学习人物。比如，之前会骑自行车，要学习骑摩托车，这种相似性指的就是自行车和摩托车之间的相似性以及骑车体验的相似性。这种相似性在我们人类看来是可以接受的。(迁移学习的更多介绍可以参照我之前的这个回答以及我的Github)所以，如果这个相似性找的不合理，也就是说，两个领域之间不存在，或者基本不相似，那么，就会大大损害迁移学习的效果。还是拿骑自行车来说，你要拿骑自行车的经验来学习开汽车，这显然是不太可能的。因为自行车和汽车之间基本不存在什么相似性。所以，这个任务基本上完不成。这时候，我们可以说出现了负迁移（negative transfer）。
比较权威的定义
迁移学习领域权威学者、香港科技大学杨强教授发表的迁移学习的综述文章《A survey on transfer learning》给出了负迁移的一个定义：
负迁移指的是，在源域上学习到的知识，对于目标域上的学习产生负面作用。
文章也引用了一些经典的解决负迁移问题的文献。但是普遍较老，这里就不说了。
所以，产生负迁移的原因主要有：
- 源域和目标域压根不相似，谈何迁移？------数据问题
- 源域和目标域是相似的，但是，迁移学习方法不够好，没找到可迁移的成分。 --------方法问题
因此，在实际应用中，找到合理的相似性，并且选择或开发合理的迁移学习方法，能够避免负迁移现象。
最新的研究成果
但是，随着研究的深入，已经有新的研究成果在逐渐克服负迁移的影响。杨强教授团队2015在数据挖掘领悟顶级会议KDD上发表了传递迁移学习文章《Transitive transfer learning》，提出了传递迁移学习的思想。传统迁移学习就好比是踩着一块石头过河，传递迁移学习就好比是踩着连续的两块石头。更进一步，杨强教授团队在2017年人工智能领域顶级会议AAAI上发表了远领域迁移学习的文章《Distant domain transfer learning》，可以用人脸来识别飞机！这就好比是踩着一连串石头过河。这些研究的意义在于，传统迁移学习只有两个领域足够相似才可以完成，而当两个领域不相似时，传递迁移学习却可以利用处于这两个领域之间的若干领域，将知识传递式的完成迁移。这个是很有意义的工作，可以视为解决负迁移的有效思想和方法。可以预见在未来会有更多的应用前景。
插图：《Transitive transfer learning》传递式迁移学习
参考资料
[1] 迁移学习综述文章：Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering, 2010, 22(10): 1345-1359.
[2] 传递迁移学习：Tan B, Song Y, Zhong E, et al. Transitive transfer learning[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2015: 1155-1164.
[3] 远域迁移学习：Tan B, Zhang Y, Pan S J, et al. Distant Domain Transfer Learning[C]//AAAI. 2017: 2604-2610.
[4] 我的Github上关于迁移学习的资料：https://github.com/jindongwang/transferlearning
[5] 我之前关于迁移学习介绍的回答
========================
[作者简介]王晋东(不在家)，中国科学院计算技术研究所博士生，目前研究方向为机器学习、迁移学习、人工智能等。作者联系方式：微博@秦汉日记 ，个人网站Jindong Wang is Here。
\