特征提取

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

两个“输入特征（DAI SQL）”模块，分别从两个数据表提取数据，之后可以共同连接一个新的“输入特征（DAI SQL）”模块，做到数据连接的功能

我们来看一个具体的例子，在下面这个例子中：

• m1模块的作用是从cn_stock_prefactors表中提取出pe_ttm和total_market_cap两个字段，并且过滤掉ST股票
• m2模块的作用是从cn_stock_money_flow表中提取出main_flow和main_rate两个字段

![](/wiki/api/attachments.redirect?id=2d891157-85

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

问题

深度学习在期货高频上的应用

策略源码

8月19日Meetup问题模板：

https://bigquant.com/experimentshare/f58dbfb388454407b8a2b99eb14cf1ea

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

\

背景

机器学习的研究领域包括有监督学习（Supervised Learning），无监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）等诸多内容。针对有监督学习和半监督学习，都需要一定数量的标注数据，也就是说在训练模型的时候，全部或者部分数据需要带上相应的标签才能进行模型的训练。但是在实际的业务场景或者生产环境中，工作人员获得样本的成本其实是不低的，甚至在某些时候是相对较高的，那么如何通过较少成本来获得较大价值的标注数据，进一步地提升

导语

本文是对于medium上Boris博主的一篇文章的学习笔记，这篇文章中利用了生成对抗性网络（GAN）预测股票价格的变动，其中长短期记忆网络LSTM是生成器，卷积神经网络CNN是鉴别器，使用贝叶斯优化（以及高斯过程）和深度强化学习（DRL）优化模型中超参数。此外，文章中非常完整地实现了从特征抽取、模型建立、参数优化、实现预测的过程，其中运用了多种机器学习方法，比如BERT进行文本情绪分析、傅里叶变换提取总体趋势、autoencoder识别高级特征、XGboost实现特征重要性排序等。本文学习的思路是：GAN算法概览 – 项目思路 – 项目详解。拟在学习完成后，在Bigquant平台

构建一个多层卷积网络 CNN

在MNIST上只有91%正确率，实在太糟糕。在这个小节里，我们用一个稍微复杂的模型：卷积神经网络来改善效果。这会达到大概99.2%的准确率。虽然不是最高，但是还是比较让人满意。

卷积层

卷积层（Convolutional layer），卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

线性整流层

线性整流层（Rectified Linea

用卷积网络处理序列数据

我们知道卷积神经网络(convnet)在计算机视觉问题上表现出色，原因在于它能够进行卷积运算，从局部输入图块中提取特征，并能够将表示模块化，同时可以高效地利用数据。这些性质让卷积神经网络在计算机视觉领域表现优异，同样也让它对序列处理特别有效。时间可以被看作一个空间维度，就像二维图像的高度或宽度。

对于某些序列处理问题，比如金融时间序列数据，这种一维卷积神经网络的效果可以媲美RNN[循环神经网络]，而且计算代价通常要小很多。最近，一维卷积神经网络[通常与空洞卷积核(dilated kernel)一起使用]已经在音频生成和机器翻译领域取得了巨大成功。除了这

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容已经过期，不再适合平台最新版本，请查看如下最新内容：

https://bigquant.com/wiki/doc/5z65lqo5y2356ev56we57up572r57uc55qe5asa5zug5a2q6ycj6ikh-3hXXZIwYtI

策略案例

[https://bigquant.com/experimentshare/86296263b27

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

新手求教，左边是常规的处理，右边是因子处理，怎么把m10和m13合并在一起呢

https://bigquant.com/codeshare/064cb01e-9ac3-47ce-bd5a-d90419ae1390

\

首先解释一下标题： CNN：卷积神经网络（Convolutional Neural Network）, 在图像处理方面有出色表现，不是被川普怒怼的那个新闻网站； 股票涨跌：大家都懂的，呵呵； 股票图片：既然使用CNN，那么如果输入数据是股票某个周期的K线图片就太好了。当然，本文中使用的图片并不是在看盘软件上一张一张截下来的，而是利用OHLC数据“画”出来的； 尝试：这个词委婉一点说就是“一个很好的想法^_^"，比较直白的说法是“没啥效果T_T”。

进入正题： 首先是画出图片。本文目前是仿照柱线图画的。 ![{w:100}](/wi

问题

最近一直在研究咱们的策略开发平台，里面有一个很重要的模块——序列窗口滚动。这个模块也是开发深度学习策略的必备模块。但是一直对这个模块的功能有些疑问：

1. 这个窗口滚动是否和卷积的滑动窗口是一个概念？用一个window_size大小的感受野去框学习数据，从而降低参数量级，实现某种意义上的特征表达？
2. 在计算过程中，会强制把超过裁剪值的数据变成设定值，那是否意味着这个特征是失效的？
3. 学习数据中的特征项的排列顺序是手工指定的，而这个滚动窗口又是基于这个顺序进行计算，是不是意味着这个指标的排列顺序会很大程度影响结果？

以上，请大神指教~

感谢~！

解答

\

在特征列表中加入了两个新的特征，每次运行到提取特征后就内核自动重启了，请问这是为什么？可用资源中CPU1.2核，内存4.8G还没有达到阈值。

https://bigquant.com/codeshare/77f156ad-dc82-4241-b077-7680967701ab

请老师帮忙看看：

[2023-09-04 14:37:51.384030] WARNING derived_feature_extractor: 特征 gross_profit_lf，找不到依赖的列：gross_profit_lf
[2023-09-04 14:38:04.385331] 

m7 = M.derived_feature_extractor.v3(
        input_data=m1.data,
        features=m15.data,
        date_col='date',
        instrument_col='instrument',
        drop_na=False,
        remove_extra_columns=False,
        m_cached=False, # 去掉缓存
        user_functions={}
    )

怎样使用因子库里的因子作为特征？

这个因子id没法直接使用，

只能复制因子的表达式使用吗？

问题

现在预实现对于ETF的均线策略进行超参优化，但是无法提取特征，出现错误提示：<Exception: no features extracted.> 请问有无解决办法？

https://bigquant.com/experimentshare/0268768aec3e4e23b0285f9028ddab1b

\

问题

怎么用机器学习判断股票的形态？

解答

此问题可以作为一个研究课题了。 人眼如何判断三重底？先有一个下跌趋势然后盘整，形成了三个低点，接着向上突破成功了就是所谓的三重底。但是要是盘整后往下成功突破呢，就变成了下跌趋势中的一个中继三重顶形态，所以要等价格走出来后才知道是什么形态，个人理解可以把关键点的信息（例如顶和底的数据）作为特征告诉机器去学习，那又如何提取顶和底这种关键信息呢？可以先从简单形态识别开始研究，例如把各个周期的均线金叉，死叉等信号作为特征，通过机器学习看下哪种周期组合收益最高。 关于这个话题，大家都可以一起来讨论一下。

BigQuant策略组

我的数据源里面有一项是我想输入的特征，但是运行出来只有m1里输入的四个因子的分析，我该怎么样才能把自己做的因子放进去呢？

https://bigquant.com/experimentshare/e76f282c33334154839feb97a0fd464f

\

问题

能否拿到GBDT的特征重要性

\

解答

和随机森林去提取特征重要性一样