问答交流

获取分钟数据一直提示内存不足

由luvymhq创建,最终由luvymhq 被浏览 12 用户

仅仅获取两年的分钟数据,且用的是K2资源,一上午跑了6,7遍都提示内存不足,帮忙看下是代码问题还是什么原因?

https://bigquant.com/codesharev3/6761777e-21ea-40e6-b8c3-ef4c473b8223

评论
  • 我尝试跑1个月的,观察内存占用8个g左右了。一是分钟数据本来就大,而是叠加复杂的sql,计算过程中占用的内存就会很大。
  • 如果想从分钟加工因子,可以减少时间区间。例如你先加工1天的数据看下结果是否是你期望的,然后一次加工10天的把数据存到自己的表里面(dai.DataSource.write_bdb(data=df, id='table_id)),
  • 这样循环加工存表,后续做因子分析直接从此表中读取即可。
{link}