数据处理

数据处理在金融领域中占据核心地位，它是将原始数据转化为有价值信息的关键环节。在金融行业，数据不仅是数字的简单堆砌，更是一种洞察力和决策依据的来源。有效的数据处理能够揭示市场趋势、评估投资风险、优化资产配置、提升交易策略，并加强风险管理。在大数据时代，金融机构不仅需要收集和存储海量的数据，更需要通过高级算法和强大的计算能力对这些数据进行清洗、整合、分析和解释。数据处理技术的进步，如人工智能和机器学习，使得金融企业能够更准确地预测未来市场动向，为客户提供个性化服务，以及自动化和优化内部运营。因此，对于金融行业来说，掌握先进的数据处理技术并将其应用于实践，是保持竞争优势和实现持续增长的关键。

【代码报错】m_product()函数计算结果为NaN值

代码如下

import dai

st = '' 

sql = f""" 
select
    date,
    instrument,
    sw2021_level2,
    sw2021_level2_name,
    r_ind,
    r_mkt,
    m_product(r_ind + 1,240)- 1 as r_ind_1y,
    m_product(r_mkt + 1,240)- 1 as r_mkt_1y,
    r_ind - r_mkt as r_std,
    (r_ind_1y - r_m

更新时间：2024-10-09 10:16

【代码报错】行情数据NaN空值处理

行情数据NaN空值处理的bug问题

 回测时发现仓位中有些早期时间段(大多2012年前)仓位很轻,按理持仓就为10支,可那些日子里只有1,2支. 后面发现,:\n     因为我代码中有:  m_max(close,100). 只要这100前有一个NAN值,这支股票就被无情的排除了.

 要是:m_max( close,100,  参数=’ 0’ ).这里加个参数,表示数据中有NAN时填充0计算.  也可以=”停牌前的价格”\n要是能有这选择参数就完美了.

更新时间：2024-10-09 09:47

在DAI SQL中利用ASOF JOIN计算股息率

一、股息率定义

股息率是指公司每年支付的股息与其股票当前市场价格的比率。它是一个重要的投资指标，帮助投资者评估股票的收入潜力，股息率越高，通常表示投资者可以从该股票中获得更多的被动收入。计算公式为：

本文更多介绍如何使用 ASOF JOIN 操作处理日频数据和非日频数据，因此，我们简化股息率的公式，假设分子分母都使用总股本，则上述公式可以简化如下：

![](/wiki/api/attachments.redirect?id=4

更新时间：2024-09-02 08:33

持仓交易日个数

positions = context.get_account_positions()

for code, position in positions.items():

    print(code,position.last_sale_date, context.trading_calendar.session_distance(position.last_sale_date, data.current_dt))

更新时间：2024-06-29 00:03

策略分享

策略流程

筛选条件：净利润增长率长大于15%，连续3年净资产收益率大于15%，市盈率低于35。
策略回测：开盘买入，收盘卖出，回测时间为2017-05-01至2017-06-15

策略实现

输入特征模块

将净利润增长率，净资产收益率，市盈率作为作为输入特征；
将净利润增长率长大于15%，连续3年净资产收益率大于15%，市盈率低于35设置为表达式过滤条件。

\

数据抽取模块

抽取数据，并设置开始日期为2014-12-31 ，结束日期为2016-12-31。

BigTrader模块

在m5”BigTra

更新时间：2024-06-19 06:45

数据合并

两个“输入特征（DAI SQL）”模块，分别从两个数据表提取数据，之后可以共同连接一个新的“输入特征（DAI SQL）”模块，做到数据连接的功能

我们来看一个具体的例子，在下面这个例子中：

m1模块的作用是从cn_stock_prefactors表中提取出pe_ttm和total_market_cap两个字段，并且过滤掉ST股票
m2模块的作用是从cn_stock_money_flow表中提取出main_flow和main_rate两个字段

![](/wiki/api/attachments.redirect?id=2d891157-85

更新时间：2024-06-19 02:45

Word2Vec介绍：训练Skip-gram模型的python实现

1. 获取数据

首先获取训练集“Stanford V1.0”和使用Glove模型训练好的词向量矩阵。

我们使用shell命令获取以上文档，脚本如下：

DATASETS_DIR="utils/datasets"
mkdir -p $DATASETS_DIR

cd $DATASETS_DIR

# Get Stanford Sentiment Treebank
if hash wget 2>/dev/null; then
  wget http://nlp.stanford.edu/~socherr/stanfordSentimentTreebank.zip
else
  c

更新时间：2024-06-12 06:06

Pandas库之数据处理与规整

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

下列代码在读取数据时，使用最新dai.query接口即可。

数据读取

导语

本文继续讲解Pandas库在数据分析和处理上的一些应用。

[https://bigquant.com/codesharev2/5a39d584-7b74-4d00-832f-

更新时间：2024-06-12 02:36

Pandas查看和选择

新版数据导入部分使用dai库

导语

本节主要讲解Pandas库中 DataFrame 的数据查看与选择

Pandas 是基于 Numpy 构建的，让以 Numpy 为中心的应用变得更加简单。平台获取的数据主要是以 Pandas 中DataFrame 的形式。除此之外，Pandas 还包括一维数组Series 以及三维的Panel。

Pandas中获取数据的方式

下面将进行详细介绍：

Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而

更新时间：2024-06-11 08:59

如何利用滚动回测进行策略开发和因子挖掘？

问题

如何利用滚动回测进行策略开发和因子挖掘？

视频

[https://www.bilibili.com/video/BV1Gr4y177FR?share_source=copy_web&vd_source=2e7dc1240ea373ea6eba1134af8dd086](https://www.bilibili.com/video/BV1Gr4y177FR?share_source=copy_web&vd_source=2

更新时间：2024-06-07 10:55

Pandas处理日K数据构建MACD季度因子

看视频

https://www.bilibili.com/video/BV1jh411u7zj/?vd_source=ecd29bbd04cbefdfa426167c55241973

策略源码

[https://bigquant.com/experimentshare/d4804cb7b37b40e191de5b196897c33b](https://bigquant.com/experiment

更新时间：2024-06-07 10:55

如何解读Transformer等深度学习中序列窗口滚动模块功能

问题

transformer等深度学习中序列窗口滚动模块具体的功能是什么，为什么要把数据做这个处理，能否用numpy的源码写一个函数？

视频

https://www.bilibili.com/video/BV1i44y1q7As?p=4&share_source=copy_web

策略源码

2021年7月8日Meetup策略模板：

[https://bigquant.com/experimentshare/6235b7c

更新时间：2024-06-07 10:55

71st Meetup

选取了IC较高的因子后，如何合成一个策略，一般步骤是什么

在因子开发研究完之后，选取了|IC|较高的几个因子后，一般如何合成一个策略，即在工程方法论上的一般步骤是什么？比如应该如何选择哪些模型进行合成（树模型or深度学习模型，是否有规律），分别是否都必须在训练前进行特征工程的处理再训练（去极值、中性化去除相关性），比如是否需要探查各个因子的相关性（如果多个因子存在一定的相关性，一般相关度大于多少需要进行处理，是否需要逐对特征两两取残差）