更新和管理自定义数据表的方法

由hxgre创建，最终由hxgre更新于2023-03-28 05:35 被浏览 247 用户

导语

在策略编写过程中，难免会希望接入外部数据，方便更好地研发策略。那么，如何在BigQuant平台上上传和更新自定义数据表呢？本篇文章将会系统性地介绍相关的方法和案例。

文章主要针对以下三种情形，介绍数据上传、管理和增量更新的方法：

1. 一次性上传CSV文件；
2. 在开发环境中加工数据或因子后实现每日增量更新；
3. 通过外部API如tushare，或利用爬虫等方法获取数据并增量更新到平台上。

一、手动上传 CSV 文件

使用场景：策略编写者本地有一个 csv 文件，比如ROIC财务指标数据，需要上传到平台，以供后续策略研究时通过DataSource()接口调用，而不用读取csv文件

步骤一：定位“数据平台-->我的→我的数据”页面，点击“上传数据”

步骤二：选择需要上传的csv文件，支持多个csv文件上传

步骤三：设定参数，数据集字段功能可以把目标字段的类型进行强制转换

步骤四：点击“上传数据”后，生成相应的数据表，系统会自动生成一个相关的任务

步骤五：稍等片刻，任务完成后便可在“我的数据”中查看

点击详情页面，查看表结构、样例数据、使用代码等详细信息

同样可以通过 DataSource().read() 查看相关数据内容：

二、加工数据并实现增量更新

使用场景：用户在平台获取涨跌停数据，计算每日大盘的涨跌停数量和涨跌停占比，并增量更新到相关的表中

步骤一：获取涨跌停数据

步骤二：计算自定义数据，比如：这里计算了每日涨跌停家数和占比

步骤三：调用“更新入库”模块，将计算好的数据存入表中

步骤四：调用“数据平台任务（创建/更新）”模块，对该数据入库的策略生成定时任务，定时更新数据

参数说明：

步骤五：点击“运行”，则会在“数据平台-->我的-->我的任务”中生成相应的数据更新任务。首次生成不会运行，可以手动点击“运行”按钮。

可以点该任务，进入详细页面，查看任务的日志、代码等信息，同时也可以设置一些简单的参数。

任务运行成功后，用户也可以在“数据平台-->我的→我的数据”中查看到生成的数据表已经生成。

用户也可以点进相关的数据表，并查看表结构、样例数据、使用代码等详细信息。

同样可以通过 DataSource().read() 查看相关数据内容：

步骤六：若目标是获取每日最新的数据并计算和入库，则需要保证“代码列表”模块的相关参数绑定实盘参数

如此设置，只要运行该任务，数据便会增量更新，比如这里的涨跌停统计数据更新到了最新的11月09日

代码链接

https://bigquant.com/experimentshare/54421edec16f4889964efdefd3cf9e47

三、外部数据源导入（如爬虫）

使用场景：用户可以通过外部API接口，或编写爬虫脚本，每日获取数据并增量更新，比如：投资者自行爬取东方财富网“行情数据”页面的内容，用于数据处理和加工。

步骤一：在开发环境用“自定义运行”模块编写爬虫代码，生成 DataFrame 数据。用户需要自行维护爬虫脚本，最终将一个数据矩阵传给“更新入库”模块。

步骤二：连接“更新入库”模块，使用“数据平台任务（创建/更新）”模块生成任务。

步骤三：任务运行成功后，并可查看相关数据内容。

同样可以通过 DataSource().read() 查看相关数据内容：

代码链接

https://bigquant.com/experimentshare/3e9edb173cc04a34b961525a2119f4d9

视频演示

https://www.bilibili.com/video/BV1i14y1H7RT/?spm_id_from=333.999.0.0&vd_source=ecd29bbd04cbefdfa426167c55241973

\