数据挖掘

{{membership}}

https://bigquant.com/codeshare/a04ad103-6217-4484-a57c-81cc1e64fdf6

\

{{membership}}

https://bigquant.com/codeshare/323b5380-95d7-4410-a1ff-2116b3933d35

\

https://bigquant.com/codeshare/4515d40b-c2f4-4439-a2c9-92931adb0c6d

\

视频讲解

查看视频

策略源码

https://bigquant.com/codeshare/23bb6c6a-c4e3-4a7c-aed4-48c719c64dee

\

• BigQuant使用案例
• 最佳使用方式

\

这是一篇简单探讨高频时间尺度的相关性结构的paper。

![](/community/uploads/default/original/3X/6/9/69f10a5b74c09f78e4a141b864313500f

最近一段时间在文本聚类的工作,一路也遇到了不少坑,自己也写一篇文章记录了一下自己的过程.

1:什么是文本聚类

先说说聚类的概念,聚类又称群分析,是数据挖掘的一种重要的思想,聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。(以上来自百度百科).

再说到文本聚类,文本聚类其实也就是在文本方向上的应用,首先我们要把一个个文档的自然语言转换成数学信息,这样形成高维空间点之后再去计算点与点之间的距离,然后将这些距离

在机器学习、数据挖掘大行其道的今天，我再在这里给大家分享六、七年前股指期货刚推出时国内比较火爆的策略似乎是比较LOWBEE的一件事，一开始我也是拒绝的，但是拒绝并不代表拒绝成功，正如我抗议，抗议无效一样。如果把机器学习比作阳春白雪，我这种只能称为下里巴人了。但能够玩转阳春白雪的人毕竟是少数，所以让我们继续沿着革命的道路前进。不过想到上次ARMA+GARCH交易策略在沪深300指数上的运用这篇文章铩羽而归，内心其实是有点小忐忑的，会不会再一次折戟沉沙，毕竟大家喜欢，才能体现科普文章的价值。

在正式介绍OBPI(O

SEMANTIC MATCHING FEATURES

接下来这部分可以说是搜索引擎中最为重要的部分了，包含了基础语义特征以及点击反馈。

Click Similarity

（点击是搜索引擎中用户反馈最为重要的一个信号，通过点击可以挖掘出极其丰富的数据。）这里是通过点击来构建query和url之间的桥梁。将全量的query和全量的url看作一个庞大的clickgraph，query和url是节点，若是q-u之间存在点击，则有一条边将两者相连，点击次数是这条边的权重。（有节点，有边，有权重，完美~）

从两个不同的url共现的query（即clickquery）中提取出

欢迎大家持续关注我们的专栏Alpha-Nebula，我们会持续分享高质量的量化相关内容。这篇文章我们介绍的是一篇叫做**“Study of Stock Prediction Based on Social Network”**的Paper，作者针对市场，爬去了新浪微博和股吧的数据进行了一些有趣的研究。

Social Behavior Graph

作者爬完了这两个社交平台的数据之后，通过Hamming Distance和时间间隔来辨别不同帖子之间的similarity：即如果Hamming Distance小于2，同时两个贴的时间间隔小于1小时，那么就认为这两个贴是可以

投资“常识”：残差项是噪声，离得越远越好

近50年前，Fama提出石破天惊的有效市场假说(EMH)，市场有效这一理念随之深入人心。典型的资产定价模型(例如CAPM和Fama-French三因子模型)指出，一项资产或投资组合的收益由以下三个部分构成：

• 承担系统性风险获得的补偿(beta)；
• 卓越的超额收益，特别是选股能力(alpha)；
• 不可分散的异质性风险(均值为0，与系统性风险无关，且不同资产的异质性风险也相互无关)。

换言之，一项资产的收益，由系统性风险补偿，资产超额收益和随机残差项组成。无论从统计的角度，还是从金融逻辑的角度，随机残差部分都不包含任何有意义

--------------------------------------------------------------------------------------------

欢迎关注知乎专栏：

卷积神经网络（CNN）入门讲解​zhuanlan.zhihu.com

-------------------

https://bigquant.com/experimentshare/6101b0b2a0f347cd98594fb4d0620065

\

摘要

量化择时交易策略

深度学习量化交易策略是从海量历史数据中利用统计原理通过数据挖掘和逻辑验证的方式发掘出超额收益来源。相比于传统的线性模型，深度学习模型的表示能力更强，能够学习的特征更多。本文以卷积神经网络为例，介绍深度学习模型在量化择时模型中的应用。

卷积神经网络感受野更宽，非线性表达能力更强，在收益率分类的场景下表现突出

卷积神经网络是一种常用的机器学习模型，相比于传统的全连接神经网络，卷积神经网络通过卷积层和池化层的结构,使得输出的感受野更宽，同时卷积核的权值是共享的，从而有效减少参数数量,卷积神经网络通过卷积层、池化层、全连接层不同块的组合结构设计，使

摘要

数据挖掘因子轮动关系有自身的局限性和优越性

数据挖掘探究因子轮动，可以利用模型的优势找到更为精细的关系。由于因子轮动的数据量较小，容易过拟合，且逻辑层面较难给出解释。通过扩充数据量及分类模型的应用，降低信噪比和过拟合程度；通过抽取简单模型窥视变量和因子轮动的逻辑关系。

外生变量和因子有效区间有较大关系

根据市场环境变量和随机森林模型建立的因子择时策略相比于默认因子方向建立的策略，除动量因子外，均有提高。以因子择时为基础建立的多因子等权配置策略年化收益为4.76%，最大回撤1.17%，信息比5.11，Calmar比4.06。从树的结构来看，和因子是否有效最相关

摘要

不同因子类型的逻辑与特性有很大差异，适合的调仓周期也未必一致。本文运用数据挖掘的方式从量价类数据中挖掘短周期因子，并测试不同交易成本与调仓周期对短周期因子收益能力的影响。最终构建短周期因子选股组合。

多维数据特征下，利用遗传规划原理批量生成因子。底层数据上除了基本的量价数据特征以外，运用高频数据构造了买卖交易标值、买卖成交量比值等更多数据特征。并利用遗传规划原理挖掘有效日频量价技术因子。

通过相关性检验筛选因子池并进行单因子测试。通过相关性测试剔除相关性过高的因子，将最终通过相关性测试的17个因子定为短周期因子池，简称短周期Alpha17。短周期Alpha17因子池内因子平均

导语

大部分初学AI-量化的同学做选股策略的做法都是简单粗暴将全市场的股票数据都放入模型训练， 然后企图训练出一个万能模型-图灵机， 寄希望于仅仅只通过暴力的数据挖掘，或者某些因子，就可以打造出一个适应于 任何行情的选股模型--圣杯。

但遗憾的是，A股市场中的数据噪音是很大的，不同的市场环境，不同的因子的选股效

对量化私募基金而言，其投研能力的高低，主要取决于：1.数据能力，如今越来越多行业头部量化私募基金拥有数百TB的数据；2.算法能力，包括深度学习、文本挖掘等算法能力的持续升级；3.交易能力，比如通过低延迟技术研发，将交易时间从20微秒缩短至2微秒。

ChatGPT的兴起，恰恰给量化私募基金数据挖掘与算法升级带来新的想象空间。ChatGPT可以用自然语言与私募基金量化投资建模人员沟通交流，以通俗易懂的语言解释那些结构化信息数据。一方面帮助私募基金量化投资建模人员更精准地寻找交易投资机会；另一方面根据这些建模人员需要，将投研报告里的相关信息数据呈现出来，大幅提升投研效率。

目前量化私募基金提升数

%%BigQuant_ChatGPT

如何使用ChatGPT，可以用来做什么？

\

编写线段树代码

问题

https://bigquant.com/experimentshare/98c1a63396fa4a7e9b2bc1e552b124ae

\

报告摘要

主要观点

本篇是“学海拾珠”系列第二十三篇。作者在本文中证明，指标对因子收益的预测能力是视预测时长而定的，同时受指标与因子收益的时变关系以及数据挖掘的影响。尽管有这些挑战，但只要投资者能切实地意识到因子择时的局限性，因子择时仍有可能成为非常好的工具。

• 因子表现随时间变化很大

产生因子溢价的主要来源包括风险暴露的补偿、由于市场参与者的不理性而产生的回报以及市场摩擦的影响。这三个因素中的每一个因素，都会随时间变化而波动。

• 五类信号可以预测因子的回报

因子的回报可以通过金融环境、经济环境、情绪、价差和动量这五类信号来

当前，越来越多的金融机构开始使用机器学习方法，以期在市场竞争中赢得优势。而量化投资机构也逐步抛弃传统的分析方法，转而使用机器学习算法预测市场走势和选择投资组合。

而机器学习的优势在于，能够提供非线性关系的模糊处理，弥补了人脑思维模式，同时利用相关算法，可以大幅提高数据挖掘、处理效率。则借用机器学习，量化投资策略会变得更加丰富。

与此同时，在量化领域应用机器学习算法，仍然存在一些问题和挑战。那么，你在实践过程中，都碰到哪些问题呢？

主流股票量化投资策略

目前国内最大的量化私募大佬明汯投资裘慧明-聊一聊主流股票量化投资策略有哪些？

https://www.bilibili.com/video/BV17D4y1U7MB

明汯裘慧明采访

明汯投资，国内第一家管理规模达到千亿的量化私募。上海明汯投资管理公司于2014年成立于上海市虹口区对冲基金产业园， 公司专注于量化投资领域，借助强大的数据挖掘、统计建模和计算能力，构建了覆盖全市场、多品种的量化资产管理平台，在国内外金融市场均取得了稳健的业绩记录。2015年，明汯投

AI策略简介

最近几年人工智能（AI）技术得到飞速发展，其在各个领域的运用也不断取得重大成果。机器学习是实现人工智能的一种方式，被评为人工智能领域中最能够体现智能的一个分支，机器学习与人工智能、深度学习的关系可以参考下图： 机器学习可以这样简单理解：借助于计算机，对数据（训练集）进行学习后，形成模式识别（模型），进而实现对未来数据（测试集）的预测。

假设我们要去预测某个连续变量$ Y$