数据处理

数据处理在金融领域中占据核心地位,它是将原始数据转化为有价值信息的关键环节。在金融行业,数据不仅是数字的简单堆砌,更是一种洞察力和决策依据的来源。有效的数据处理能够揭示市场趋势、评估投资风险、优化资产配置、提升交易策略,并加强风险管理。在大数据时代,金融机构不仅需要收集和存储海量的数据,更需要通过高级算法和强大的计算能力对这些数据进行清洗、整合、分析和解释。数据处理技术的进步,如人工智能和机器学习,使得金融企业能够更准确地预测未来市场动向,为客户提供个性化服务,以及自动化和优化内部运营。因此,对于金融行业来说,掌握先进的数据处理技术并将其应用于实践,是保持竞争优势和实现持续增长的关键。

因子分析如果要分析预计算因子该如何调用

/home/aiuser/work/因子分析.ipynb

https://bigquant.com/wiki/doc/5zug5a2q5yig5p6q-Tzo0w3iZgs

“因子分析”的使用文档是如下的调用,实际操作可行

\

m2 = M.input_features.v1(
    features='f

更新时间:2024-03-06 07:11

NaTType does not support strftime

  • 默认可视化线性模板里,sql就加了几个条件,其他没改,就回测不了,提示日期为空或属性不存在,能帮忙看下吗?\n策略:https://bigquant.com/codeshare/6316cf34-e449-4b15-87b1-1754a9b5a2e5

    回测时出现错误
    ValueError: NaTType does not support strftime
    添加“缺失数据模块”后,出现这个错误
    AttributeError: 'DataSource' object has no attribute 'iter_df'
    怎么解决?
    

更新时间:2024-02-19 05:57

自定义数据如何使用

join_area_data = M.sql_join_2.v1(
    sql1=ori_data.data,  # 标签数据
    sql2=area_ds,  # 地区数据
    sql_join="""WITH
sql1 AS (
    {sql1}
),
sql2 AS (
    {sql2}
)

SELECT * FROM sql1 JOIN sql2 USING (instrument)
"""
)

area_ds是自定义数据集,类型为dai.DataSource,在使用Join的时候报错:**ArrowInva

更新时间:2024-02-15 07:44

老代码运行问题

  • [2024-02-05 12:37:18.977789] INFO StockRanker训练: 31d53250 准备训练: 686765 行数, test: 0 rows
  • [2024-02-05 12:37:18.997786] INFO StockRanker训练: AI模型训练,将在686765*18=1236.18万数据上对模型训练进行3轮迭代训练。预计将需要2~3分钟。请耐心等待。
  • [2024-02-05 12:37:19.348217] ERROR: moduleinvoker:2279671359.py:392:<module> module name

更新时间:2024-02-05 04:59

如何调优,数据小于20万行,择时,StockRanker训练

更新时间:2024-01-23 03:53

请教个问题

如何构建跨周期数据项,并利用这些数据项构建因子?

平时处理的都是日线数据,但如果需要用日线和上月的月线数据进行一些计算形成一些因子,我应该如何构建?

更新时间:2024-01-12 02:34

构建行业中性化哑变量矩阵时,1月数据,跑10分钟都跑不出来原因是?

#提取一级行业,可以获得5000多只股票的行业列表。

sql ='''
select *
from cn_stock_industry_component
where date between '2023-0-01' and '2023-01-07'
'''
import dai
ww = dai.query(sql).df()
www_uni = ww.drop_duplicates(subset='instrument')

www_uni

#获取cn_stock_bar1d表数据

sql = '''
select *

更新时间:2024-01-12 02:31

这代码中的DELAY 的函数 是什么意思

OPEN/DELAY(CLOSE,1)-1 这代码中的DELAY 的函数 是什么意思

更新时间:2023-12-15 02:22

请问DELAY 这个函数是什么意思

OPEN/DELAY(CLOSE,1)-1   这个函数中DELAY 是什么意思

\

更新时间:2023-12-14 07:32

多元回归模型

请教一下,用1000多个股票一年的收益率数据和20个因子做多元回归模型,这里有多只股票和多个日期,应该要怎么处理呢?如何预测股票收益率?

更新时间:2023-11-27 06:10

读分钟数据很容易导致内存溢出

就读几天的分钟数据,我用8G的FAI或者用2C/8G AI Studio就把内存读爆了。是不是读数据有啥BUG?

代码如下:

import dai

dayStart = "2022-12-22" dayEnd = "2023-12-31" sql = f"""FROM cn_stock_bar1m WHERE date >= '{dayStart} 09:30:00' AND date <= '{dayEnd} 15:00:00'""" df = dai.query(sql).df()



\

更新时间:2023-10-09 08:26

高频因子抽取到日频报错

https://bigquant.com/wiki/doc/tezheng-ri-xIjPe1UFMu

这个例子程序也一直报错

更新时间:2023-10-09 07:10

为什么LightGBM不能输出特征重要性

后面会报错

https://bigquant.com/experimentshare/16f3f6c7fa904475ac8a131e2345ab0a

\

更新时间:2023-10-09 06:22

排序出错——csv

https://bigquant.com/experimentshare/d242d0c6c6a242c1ad2ad3cc11678891

\

更新时间:2023-10-09 03:43

新手编写代码回测遇到问题

{w:100} {w:100}

更新时间:2023-10-09 03:41

输入特征列表中,表达式引擎构建新因子报错。

{w:100} {w:100} {w:100}

更新时间:2023-10-09 03:29

因子分析快速回测模块无法正常运行

一直有类似的错误,应该是该模块的代码有一些问题,需要查看一下

更新时间:2023-10-09 02:27

可视化策略是不是无法使用申万一二三级指数层面的分析?

用可视化策略是不是只能分析股票的相关数据?比如我要分析行业,分析申万一级的电子行业的换手率历史数据是不是没有办法做到?如果可以的话麻烦说一下具体的方法!

更新时间:2023-10-09 02:27

因子中含有特殊字符?

stock_ranker 模型会报错, xgboost不会

更新时间:2023-10-09 02:26

双数据源合并报错KeyError: 'date'

只能请各位大佬帮忙看看了,谢谢

https://bigquant.com/codeshare/57441371-b673-46db-922e-8c1e63d60b0e

\

更新时间:2023-10-09 02:08

.sql中的dai.DataSoure 怎样读取里面的内容

想用纯代码模式改写下SR DAI版本的模板,但是不知道这处传进去的数据应该是什么格式

更新时间:2023-10-09 02:06

停止模块读取缓存,更新改动执行情况

m7 = M.derived_feature_extractor.v3(
        input_data=m1.data,
        features=m15.data,
        date_col='date',
        instrument_col='instrument',
        drop_na=False,
        remove_extra_columns=False,
        m_cached=False, # 去掉缓存
        user_functions={}
    )

更新时间:2023-06-06 02:58

选股因子的正交-海通证券-20170119

摘要

近年来,随着投资者对于因子选股体系研究的深入,选股因子值的处理也在逐渐细化。本文主要对于选股因子的正交进行了讨论。之所以讨论因子的正交是因为在传统的多因子模型中,选取的因子之间往往存在着相关性,而这种相关性并不稳定。因此相关性的存在会复杂因子权重的分配。对于等权分配因子权重的多因子模型,由于因子之间相关性的存在,模型可能实际上对于某一因子有更高的暴露(例如,市值因子)。对于权重优化的模型,相关性的影响可能会更大。因此,本文考虑在构建因子的时候就对于相关性进行剔除从而达到更为可控的因子暴露。

选股因子截面相关性波动较大。以市值因子与反转因子为例,虽然两因子截面相关性长期来看均值较

更新时间:2023-06-01 14:28

单因子测试之估值类因子-华泰证券-20160929

摘要

估值因子在不同行业、不同规模上市公司间差异较大

估值因子是一类非常重要的风格因子,本报告中我们选取了十个具有代表性的估值因子——EP、EPcut、BP、SP、NCFP、OCFP、FCFP、DP、EV2EBITDA、PEG,首先经实证分析发现,不同一级行业间估值因子差异较大,并且随时间推移同一行业的估值水平也在不断变化。同时,估值因子在不同规模的上市公司间差异也比较大,近两年EP、EPcut、BP、SP、NCFP、OCFP、DP明显与市值因子呈现正相关性,FCFP、EV2EBITDA与市值因子略微负相关,PEG与市值因子相关性不明显。

**各估值因子间也

更新时间:2023-06-01 14:28

数据都是后复权的吗?

平台提供的所有所有数据、因子都是后复权的吗?

更新时间:2023-06-01 14:26

分页第1页第2页第3页第4页第5页
{link}