深度学习

近几年，以机器学习、特别是深度学习为代表的人工智能（AI）得到了长足的发展，机器学习和人工智能也成为出现在街头巷尾的高频词汇。今天我们把目光放在风险投资（venture capital），看看机器学习能否在一级市场有所作为。

写本文的动机源自作者最近读到的一篇来自麻省理工的论文 Hunter and Zaman (2017)。该文提出了一个挑选优秀早期创业公司的量化分析框架，利用机器学习算法进行参数估计以及最优投资组合的构建，从而挑出那些最有可能成功的初创公司（成功的标准是风险投资人因该公司上市或者被收购而退出）。

因为文章很新（2017 年的），而且将机器学习应用于了一个比较新的

**编者按：**人工智能先驱阿兰.图灵曾设想过这样一个机器，它拥有电子的大脑，以摄像头为眼睛，以轮为脚，可以在乡间漫步，这其实是阿兰.图灵对人工智能走入生活的一个憧憬。而在很长的时间之内，由于硬件条件的不成熟，智能只能从无形的算法入手，随着深度学习研究的深入，在很多领域都取得了里程碑式的进展。然而，要想让人工智能真正融入人们的生活，则亟需解决算法在端侧落地的问题，而芯片，作为衔接算法与场景之间的桥梁，无可避免地成为了一大挑战。本文中，地平线联合创始人、美国西北大学杨铭博士，来和大家分享“在芯片上加速神经网络用于视觉任务的挑战”。

![](/community/uploads/def

*CVer推荐来源: [SigAI](https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s%3F__biz%3DMzU4MjQ3MDkwNA%3D%3D%26mid%3D2247483731%26idx%3D1%26sn%3D237c52bc9ddfe65779b73ef8b5507f3c%26chksm%3Dfdb69cc4cac115d2ca505e0deb975960a792a0106a5314ffe3052f8e02a75c9fef458fd3aca2%26mpshare%3D1%26scene%3D21%26src

这段时间在实习，做的是多轮对话，由于之前没接触过，所以有太多的东西要学，最近也一直在狂补基本知识，所以专栏一直没时间更新。前几天刚完成了公司的一个阶段性任务，所以有时间梳理一下这段时间看过的一些文章，希望体系的屡一下DST相关的知识和常用模型等。这里主要会围绕DSTC竞赛进行介绍，模型也多是在该竞赛的基础上，使用相关数据集提出的方法。本文主要会从下面几个方向进行介绍：

• DST基础
• 对话状态定义
• DST定义
• DST实例
• DST常用方法
• Rule-based DST
• Generative Models for DST
• Discriminative Models f

写在最前面

如今机器学习和深度学习如此火热，相信很多像我一样的普通程序猿或者还在大学校园中的同学，一定也想参与其中。不管是出于好奇，还是自身充电，跟上潮流，我觉得都值得试一试。对于自己，经历了一段时间的系统学习（参考[《机器学习/深度学习入门资料汇总》](https://link.zhihu.com/?target=https%3A//link.jianshu.com/%3Ft%3Dhttps%253A%252F%252Fcaiquanliu.github.io%252F2017%252F11%252F12%252F%2525E6%25259C%2525BA%2525E5%25

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**随着社交媒体及数字采集设备的普及，网络上存在着海量的视频及图像数据，如果能够充分利用这些数据，将促进相关计算机视觉任务的发展。然而这些数据却面临着数据样本分布不均衡、以及样本无监督等问题，因此如何在样本量不足甚至零样本、以及样本无标注的情况下，充分利用社交媒体中的数据，成为了计算机视觉领域的开放式问题。本文中，来自复旦大学大数据学院的付彦伟副研究员将就这一问题进行讨论。大讲堂特别在文末提供文章以及代码的下载链接。

![](https://pic4.zhimg.c

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**在工业界大量资源的投入下，大数据、大规模GPU集群带来了深度学习在计算机视觉领域的全面产业落地，在很多竞赛中甚至取得远超学术界的成绩。在AI领域的各个顶级会议上，越来越多的优秀工作也来自于Google、Facebook、BAT等巨头或者一些新锐创业公司。

值得注意的是，工业界目前的主要进展和应用落地，很大程度上依赖于高成本的有监督深度学习。而在很多实际场景中，存在数据获取成本过高、甚至无法获取的问题。因此，在数据不足的情况下，如何使用弱监督、乃至无监督的方式进行

ICLR 2018年的接收的论文已经release出来很久了，链接：https://chillee.github.io/OpenReviewExplorer/index.html

最近整理了其中一些论文的摘要和官方评价做了翻译整理和分类，涉及分布式训练、模型压缩、模型训练优化、生成式模型等，分享给大家，感兴趣的可以看看，了解下学术界前沿的研究热点。

分布式训练

Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training

**摘要：**大规模分布式训练

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**我们正在邂逅一场前所未有的人工智能技术革命和应用的井喷，现阶段的人工智能发展至今，其背后是以大数据为驱动的。然而，类比人类智能来看人工智能，AI要想真正自主地理解世界，是需要成长与发育的，需要基于小数据乃至0数据情况下的自主学习能力、从有监督到无监督数据的迁移能力、脏数据情况下的纠错能力、少量数据情况下的增广能力、以及多模态的数据协同能力。中科视拓CTO、中科院计算所研究员山世光博士，将从X数据的角度出发，分享他在视觉智能领域的成果。

如何看待这次AI热潮？

谷

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**如果把深度学习比作一座城，框架则是这座城中的水路系统，而基于拓扑图的计算恰似城中水的流动，这种流动赋予了这座城以生命。一个优雅的框架在保证城市繁荣的同时，还能让这座城市散发出独特的魅力，使它保持永恒的生命力。本文中，年仅22岁的开源框架Dragon的设计者、中科院计算所博士研究生、中科视拓实习算法研究员潘汀，将结合独立开发深度学习框架的经验，介绍框架设计中的关键技术，并给出其发展趋势的简单分析。文末将分享讲者自己设计的开源框架：Dragon。

以下是本文作者在CCML20

话说当今的深度学习网络框架世界，除了Caffe，还有很多不错的框架。这一次为了省事，我们直接找一个开源的应用进行分析和尝试。而这次的框架主角是keras，一个拥有简洁API的框架。而我们今天的主角来自深度学习界的大神Yann LeCun（我比较喜欢叫他颜乐存，哈哈……）在Quora上的对这个问题的回答：

[What are some recent and potentially upcoming breakthroughs in deep learning?](https://link.zhihu.com/?target=https%3A//www.quora.com/What-are-so

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**文字，区别于变幻莫测的图像和视频，有着更强的逻辑性和更概括的表达力。随着互联网和移动互联网技术的高速发展，越来越多的新型应用场景需要利用图像中的文字信息。从海量视频中快速检索感兴趣的文字，可以极大提高人类的认知效率。因此，自然场景中的文字提取技术，即从照片或视频中将文字识别出来，成为了近几年计算机视觉领域的热门研究课题。在本文中，来自华中科技大学的白翔教授，将为大家讲述多方向场景文字检测的奥秘。文末，大讲堂特别提供文中提到所有文章的下载链接。

![](/comm

\

最近知乎上有讨论这个问题，一个基本的结论在于码农工资高提成低（或没提成），矿工工资低但提成高；也有人说高频的码农提成高，低频的矿工提成低，等等。其实，这些都未必十分准确。

美国是更市场化的情况，工资很大程度上由供需决定。比如一家对冲基金招一个深度学习的大神，由于现在互联网公司、自动驾驶公司、机器人公司都对计算机视觉、自然语言处理等需求巨大，因此，这方面的博士薪资水涨船高，哪怕真的招了这么一个人过来，一年下来没什么实质性贡献，公司把他裁掉，但公司也已经付给了他一年极高的薪水，而公司也不确定是这个人不行，还是深度学习不行，又招下一个深度学习大神，弄不好薪资更高，就是这么个情况。**对这个

报 告 摘 要

用于时间序列预测的深度学习框架

近年来包括股票交易数据在内的大量数据的涌现对于大数据分析提出了越来越多的需求，而在大数据分析中广泛使用的各种学习技术中，深度学习技术由于其出色的预测能力脱颖而出。

本文着重对于当前流行和常用于时间序列预测的深度学习框架进行了综述，着重从深度前馈神经网络、循环神经网络以及卷积神经网络三个大类对于深度学习框架进行了介绍和分析，并且介绍了循环神经网络和卷积神经网络的大量变体网络类型。

深度学习实践中的问题

对于深度学习网络在实践过程中可能遇到的问题，本文从框架实现、超参优化、硬件性能三个角度着重分析了工程实践

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

图像目标检测任务在过去三年的时间取得了巨大的进展，检测性能得到明显提升。但在视频监控、车辆辅助驾驶等领域，基于视频的目标检测有着更为广泛的需求。由于视频中存在运动模糊，遮挡，形态变化多样性，光照变化多样性等问题，仅利用图像目标检测技术检测视频中的目标并不能得到很好的检测结果。如何利用视频中目标时序信息和上下文等信息成为提升视频目标检测性能的关键。

ILSVRC2015新增加了视频目标检测任务（Object detection from video, VID），这为研究者提供了良好的数据支持。IL

Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机器翻译、语音识别、图像标注（Image Caption）等很多领域，之所以它这么受欢迎，是因为Attention给模型赋予了区分辨别的能力，例如，在机器翻译、语音识别应用中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活（soft），同时Attention本身可以做为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，解释模型到

收集主要整理了2016-2017年深度学习NLP、图像及语音等领域应用最前沿、最经典的论文。

目录：

1 代码方面

1.1 代码生成

1.2 恶意软件检测/安全

2 NLP领域

2.1 摘要生成

2.2 Taskbots

2.3 分类

2.4 问答系统

2.5 情感分析

2.6 机器翻译

2.7 聊天机器人

2.8 推理

3 计算及视觉方面

3.1 游戏应用

3.2 风格迁移

3.3 物体跟踪

3.4 视觉问答

3.5 图像分割

3.6 文本识别

3.7 大脑计算机交互

3.8 自动驾驶

**编者按：**李白在《秋登宣城谢脁北楼》中曾写道：

“江城如画里，山晓望晴空。两水夹明镜，双桥落彩虹。”

通过对视野内景物位置关系的描写，一幅登高远眺的秋色美景图宛在眼前。而在计算机视觉领域，这几句诗其实体现了场景内物体之间的关系，对于场景理解的重要性。

今天，来自中科院信息工程研究所的刘偲副研究员，将从生成对抗网络（GAN）讲起，讲述如何通过对场景内物体及物体之间关系的梳理，让机器“析毫剖厘”，以实现对场景的理解以及对图像的编辑。

文末，大讲堂提供文中提到所有参考文献的下载链接。

![](/community/uploads/default/original/3X/

**编者按：**人生之三境界的第一层，“看山是山，看水是水”，本质上展示了人“看见”的过程，以及思绪与理解在这一过程中所起的作用。

“看见”，对于人类而言，似乎是一个很简单自然的事情，其实则不然，从地球上第一个长出眼睛的生物三叶虫，走到今天的人类视觉，经历了五亿四千万年的漫长旅程。人类获得今天的视觉能力，是大自然长期进化的结果，大脑中三分之一的皮层是与视觉相关的。

因此人的视觉任务，本质上是人脑对外界视觉信号作出反应的过程，那么，研究人脑的工作机理，是否能够为计算机视觉提供一些启发，让机器“看山是山”呢？基于此，学术界开展了脑启发视觉计算领域的研究。那么过去一年中，在这一领域都取得

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

编者按：

若言琴上有琴声，放在匣中何不鸣？

若言声在指头上，何不于君指上听？

苏轼的《琴诗》暗示了全局认知对于场景理解的重要性。而在图像理解领域，相较于基于精细标注数据的全监督学习，弱监督学习本质上是一种试图从全局出发来理解场景的方式，也更接近于人类对世界的认知机制。本文中，来自南开大学的程明明副教授，将从局部认知拓展至全局认知，为大家介绍面向弱监督的图像理解。大讲堂特别在文末提供文章以及代码的下载链接。

![](/community/uploads/default/or

面试了 8 家公司，他们问了我这些机器学习题目……

【导读】今年年初以来，作者一直在印度找数据科学、机器学习以及深度学习领域的工作。在找工作的这三十四天里，他面试了 8 到 10 家公司，其中也包括初创公司、基于服务的公司以及基于产品的公司。作者希望他的面试经验能够为求职者提供一些有用的信息，因而撰写了此文。希望你读后能够有所收获！

首先自我介绍一下：

我在机器学习（语音分析、文本分析和图像分析领域应用）领域有 4 年以上的从业经验。总的来说，我认为这个领域的大多数工作职位主要包括文本分析（自然语言处理）和图像分析（计算机视觉）。很少有公司招聘语音或音频分析的人才。我现在的目标

导读：

近年来，海外的对冲基金开始在人工智能上进行布局。Citadel、Two Sigma、桥水基金、文艺复兴科技公司等公司都已经建立自己的人工智能团队。我们在2014年发布的深度学习选股交易策略的基础上，精选股票特征，采用深度学习领域的最新技术，建立预测模型进行选股。对冲策略年化收益率为 20.3%，最大回撤为 -4.77%，月度胜率为 88.0%。

![](/community/uploads/d

AIQ 机器学习大数据 知乎专栏 点击关注

吴恩达老师斯坦福 CS230 深度学习课程资源进行开放了，大家都知道吴恩达老师最出名的是他在 coursera 的机器学习课程，可以说让很多刚开始接触 ml 的小白入门该领域。我个人本身也是在大二下学期由于学校一个创新项目的需求，学习吴恩达老师网易云课堂的机器学习课程，也记得 ML 从那个时候真正火起来了，我这一届当时保研的同学能够往这个方向的就往这个方向走，导致计算机硬件方向和其他方向爆了冷门。吴恩达在开设了机器学习课程之后，最近发布的 [DeepLearning.ai](h