研报&论文

跟着李沐学AI—GAN论文精读 【含研报及视频】

由qxiao创建,最终由qxiao 被浏览 42 用户

原研报标题:Generative Adversarial Nets

发布时间:2018年

作者:Ian J. Goodfellow∗, Jean Pouget-Abadie† , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair‡ , Aaron Courville, Yoshua Bengio

{w:100}{w:100}

摘要

本文通过对抗过程,提出了一种新的框架来预测产生式模型,我们同时训练两个模型:一个产生式模型 G,该模型可以抓住数据分布;还有一个判别式模型 D 可以预测来自训练样本 而不是 G 的样本的概率.训练 G 的目的是让 D 尽可能的犯错误,让其无法判断一个图像是产生的,还是来自训练样本.这个框架对应了一个 minimax two-player game. 也就是,一方得势,必然对应另一方失势,不存在两方共赢的局面,这个就是这个游戏的规则和属性。当任意函数 G 和 D的空间,存在一个特殊的解,G 恢复出训练数据的分布,D 在任何地方都等于 1/2 。当 G 和 D 定义为 multilayer perceptrons, 整个系统可以通过 BP 算法来进行训练。在训练或者产生样本的过程中,不需要马尔科夫链 或者 unrolled approximate inference network 。

引言:深度学习的希望是发现丰富的,等级模式,代表在人工只能应用中遇到的数据的分布,像 natural images,audio waveforms 包含 speech, 自然语言库的 symbols。到目前为止,最有影响力的 DL 的应用已经涉及到 discriminative models,通常都是将高维,丰富的输入到一个类别标签。 Deep discriminative models 没有那么大的影响力,因为预测许多很难搞定的概率计算是相当困难的,例如:最大似然估计和相关的策略;由于结合 piecewise linear units 的优势也很困难。我们提出了一种新的 generative model estimation procedure 避开了这些困难。

在这个提出的 adversarial nets framework 中,产生式模型需要和一个敌手进行对抗:一个 discriminative model 需要学习是否是一个样本是来自于 model distribution 或者 是 data distribution 。这个产生式模型需要看作是造假的团伙,企图制造假币;而 discriminative model 类似于 警察,试着检查出假钞。这个游戏竞争的结果就是,使得两个队伍的不断的改善其自身的模型,而产生的假钞变成名副其实的艺术品。(做到真假难辨)

这个 framework 可以产生用于许多类别的模型和优化算法 特定的 training algorithm 。我们探索一种特殊的情况,称为 adversarial nets。

研报原文PDF


/wiki/static/upload/a7/a7e83f46-d5f0-4337-8a79-a3b9d097a22d.pdf

\

视频解读

https://www.bilibili.com/video/BV1rb4y187vD/

\

标签

深度学习神经网络自然语言处理人工智能
{link}