历史文档

【历史文档】算子样例-更新入库

由qxiao创建,最终由small_q 被浏览 194 用户

更新

本文内容对应旧版平台与旧版资源,其内容不再适合最新版平台,请查看新版平台的使用说明

新版量化开发IDE(AIStudio):

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略:

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平台:

https://bigquant.com/wiki/doc/dai-PLSbc1SbZX

新版表达式算子:

https://bigquant.com/wiki/doc/dai-sql-Rceb2JQBdS

新版因子平台:

https://bigquant.com/wiki/doc/bigalpha-EOVmVtJMS5

\

使用场景

将数据保存为DataSource文件,以便API可直接调用

输入端

  • 数据。需要保存成DataSource的模块上游数据

输入参数

  • 表名:填写DataSource表名,必填。
  • 主键字段:数据在保存时会根据该主键进行去重,一般会以date和instrument为主键,保险起见,可以填写全部字段,这样去重就不会删除数据,必填。
  • 日期字段:时间所对应的字段,如果没有可不填。
  • 分表方式:为提升数据读取性能,bigquant支持对数据进行分表,若数据在百万行以内,可不分表,选填。
  • 覆盖原数据:该勾选项如果勾选后,会删除该表原始数据,并更新覆盖,因此一般建议不勾选。在每日增量数据更新入库时,及时有重复数据也不必担心,因为DataSource有自动去重机制,所以不用勾选“覆盖原数据”选项。该选项一般用于删除旧数据。
  • 公开数据:是否将该数据公开。勾选后,其他用户通过表名也能访问该数据。
  • 中文表名:DataSource表的表名。
  • 表描述:DataSource表的描述
  • 数据字段描述:表字段文档信息。一般是字典格式,可不填。
  • 数据文档:是否生成数据文档。勾选后,若具有管理员权限并公开了该数据,那么该表数据文档会自动生成,免去了手动编写文档的重复工作。

输出端

  • 数据:读取出来的文件数据

运行结果

可以通过模块输出来查看读取出来的具体数据

{w:100}

模块示例

我们演示如何将一份名为data.csv的文件保存为DataSouce文件。

流程如下:


  • 读取csv到研究环境的内存
  • 修改数据的日期字段的格式
  • 更新入库为datasource

https://bigquant.com/experimentshare/bf1ecccbb35c45a18d1ff848f083a260

\

{link}