什么是学习？

说到“深度学习”，追根溯源，我们需要先知道什么是“学习”。

著名学者赫伯特·西蒙教授（Herbert Simon，1975年图灵奖获得者、1978年诺贝尔经济学奖获得者）曾对“学习”下过一个定义：“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是

用近似定理牛在哪里？

前面我们提到，机器学习在本质上，就是找好一个好用的函数。而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数[1]”。

这个定理也被称之为通用近似定理（Universal Approx

机器学习的本质是什么？

在《未来简史》一书中，赫拉利说，根据数据主义的观点，人工智能实际上就是找到一种高效的“电子算法”，用以代替或在某项指标上超越人类的“生物算法”。

那么，任何一个“电子算法”都要实现一定的功能（Function），才有意义。

在计算机术语中，将“Functi

再议“end-to-end”（端到端）

在深度学习中，经常有“end-to-end（端到端）”学习的提法，与之相对应的传统机器学习是“Divide and Conquer（分而治之）”。这些都是什么意思呢？

“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接

感性认知多层前馈神经网络

更一般地，常见的多层神经网络如图8-3所示。在这种结构中，将若干个单层神经网络级联在一起，前一层的输出，作为后一层的输入，这就构成了多层前馈神经网络(multi-layer feedforward neural networks)。更确切的说，每一层

感知机的负反馈纠偏机制

中国有句古话：

“知错能改，善莫大焉。”

说的就是，犯了错误而能改正，没有比这更好的事了。

放到机器学习领域，这句话显然属于“监督学习”的范畴。因为“知错”，就表明事先已有了事物的评判标准，如果你的行为不符合（或说偏离）这些标准，那么就要根据“偏离的程度”，

“我思故我”的神经元

针对前馈神经网络，输入层和输出层设计比较直观。针对神经网络，我们拆开想想What和How的问题：

1）神经：即神经元，什么是神经元（What）？2）网络：即连接权重和偏置，它们是怎么连接的（How）？

对于计算机而言，它能计算的就是一些数值。而数

“too young，too simple的感知机

现在我们都知道，深度学习是一个包括很多隐含层的复杂网络结构。感知机之所以当年搞不定“非线性可分”问题，也是因为相比于深度学习这个“老江湖”，是因为它“too young，too simple（太年轻，太简单）”。当时，“感知机”刚刚诞生不久

感性认知监督学习

用数据挖掘领域大家韩家炜教授的观点[1]来说，

所有的监督学习（Supervised Learning），基本上都是“分类（Classification）”的代名词。

它从有标签的训练数据中学习模型，然后给定某个新数据，利用模型预测它的标签。这里的标签，

背景

感知机（Perceptrons），受启发于生物神经元，它是一切神经网络学习的起点。很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅一带而过。学过编程的读者都知道，不论是哪门语言，那个神一般存在的开端程序——“Hello World”，对初学者有多么重要

沃尔特·皮茨的异事

在前一个小节，我们提到了M-P神经元模型，这个模型最早源于发表于1943年的一篇开创性论文。论文的两位作者分别是神经生理学家沃伦·麦克洛克（Warren McCulloch）和数学家沃尔特·皮茨（Walter Pitts，参见图6-3），论文首次实现了用一个简单电路（即感

强化学习的背景

前面我们感性认知了机器学习的三大门派（监督学习、非监督学习、半监督学习）。在传统的机器学习分类中，并没有包含强化学习。但实际上，在连接主义学习中，还有一类人类学习常用、机器学习也常用的算法—强化学习（ReinforcementLearning，简称RL）。

机器学习的本质，

损失函数的定义

我们知道，在机器学习中的“有监督学习”算法里，在假设空间 中，构造一个决策函数 ，对于给定的输入 ，由 给出相应的输出 ，这个实际输出值 和原先预期值 可能不一致。

于是，我们需要定义一个损失函数（loss function） ，也有人称损失函数为代价函数（cost fun

新年新气象！进入2018年，专栏还未更新过。我一直在忙着1月底的一个投稿，希望这次能全力以赴中个顶会！不然真的压力好大，不好找工作呀！现在文章基本写完，于是空出时间来，对去年开始就一直在整理的Github上的迁移学习仓库作了一些整理与归纳，希望可以更清晰更条理，对大家更有帮助。

【Github仓库

最近没有在写文章，在看文章找研究点。利用课余时间，列出了一些迁移学习领域代表性学者以及他们的最具代表性的工作， 以供大家分享。以这篇文章作为《小王爱迁移》系列的第零篇，也是说得通的。

*一般这些工作都是由他们一作，或者是由自己的学生做出来的。当然，这里所列的文章比起这些大牛发过的文章会少得多，

这篇文章是刚刚开完的ICCV 17的一篇，文章的setting是特别新颖的，还获得了今年的ICCV Marr Prize 提名。所以很值得一看。

关于代码以及其他

作者并没有提供这个文章的代码，因为他说是在公司开发的，要拿到公司的许可。其实文章的方法本身并不难，复现难就难在：有大量

从本文开始我会着重介绍一些深度迁移学习方面的文章。今天这篇是其中的经典文章，最初发表于NIPS 2014的《How transferable are features in deep neural networks?》。其实说是经典，也才2014年，很近了。但是神经网络发展太快，14年的就已经算经典

本次介绍一篇刚发表在ICCV-17上的迁移学习文章。这个论文是第一篇使用**张量(tensor)**进行domain adaptation的文章。虽然方法本身并不复杂，但是可以作为今后工作的一些参考，还是比较有意义的。作者也慷慨地放出了方法的代码(见本文最后)，我们也可以进行实践提升了。

*一直以来都想讲一下GFK方法，但是一直不敢轻易尝试，因为这个方法涉及到了许多方面的知识，以我的能力怕说不好。GFK作为子空间变换方面最为经典的迁移学习方法，从2012年发表在CVPR上以后就一直被许多人引用，也是很多新方法着重对比的对象。其实GFK这个形式不是原创的，它建立在2011年发表在ICC

*深度迁移学习一直以来是迁移学习研究最火的一个方向。近些年来，越来越多的研究者倾向于在深度网络中学习域不变的分类器/特征表示(domain-invariant classifier/representation)，以此来提高迁移学习方法对于不同分布数据的泛化能力。本文为大家介绍来自UC Berkel

在这篇专栏文章里，我们介绍三篇连贯式的深度迁移学习的研究成果，管中窥豹，一睹深度网络进行迁移的奥秘。这三篇代表性论文分别是：

1. 来自惠林顿维多利亚大学的Muhammad Ghifary发表在PRICAI 2014的DaNN（Domain Adaptive Neural Network）

更新：这个论文最近刚被ICML 2018接收。和arXiv上的版本应该有出入，我们拿到以后再进行更新。

*最近有一篇叫做《Learning To Transfer》的文章火了。其实早在上一同我就看了这个文章当时大为震惊，深深感到迁移学习领域又要有一个大研究方向了，以后可以跟着大牛做了。文章来自香港

从这篇文章开始我将以《小王爱迁移》为名写一系列的介绍分析性的文章，与大家共享迁移学习中的代表性方法、理论与自己的感想。由于我的水平有限，请各位多多提意见，我们一起进步。今天第一篇必须以我最喜爱的杨强老师的代表性方法TCA为主题！（我的第一篇文章也是基于TCA做的）

【我整理重写好的加速版TCA代码

这是《小王爱迁移》系列的第二篇，为大家介绍一个非常不错的工作，叫做联合分布适配。和第一篇的TCA一脉相承，但是更简洁更美丽，效果更好。

问题背景

联合分布适配方法（joint distribution adaptation,JDA）解决的也是迁移学习中一类很大的问题：domain

如何理解负迁移

要理解负迁移，首先要理解什么是迁移学习。迁移学习指的是，利用数据和领域之间存在的相似性关系，把之前学习到的知识，应用于新的未知领域。迁移学习的核心问题是，找到两个领域的相似性。找到了这个相似性，就可以合理地利用，从而很好地完成迁移学习人物。比如，之前会骑自行车，要