如何进行较高频率的滚动回测

新手专区
标签: #<Tag:0x00007fcf6380f388>

(matrixreloaded) #1

A股市场风云变幻,很多东西需要较高频率的调整,也就是说模型需要过一定时间就被调整一次。比如,大小盘的风格切换会在每年某个时间范围内以较大概率出现,每年接近年底时候大盘的收益就会变好,又比如最近可能行业轮动在整体市场指数不发生很大变化的时候是作为主流的,于是,模型需要以更高频率进行调整,现在大宽上的模型如果支持以一定频率定期进行回测和预测就好了,我个人感觉短期比如1到3个月的重新调整可能要比一两年模型才调整一次更加有超额收益。不知道大宽现在这个模型重新训练应该如何开展和实现?还是说需要把initialize放到一个循环中去呢?


(神龙斗士) #2

滚动训练很常用,我们做了native的支持,你可以使用模块 M.stock_ranker_train_rolling (最新版本 v2) 来做滚动训练,

m5 = M.stock_ranker_train_rolling.v2(
    data=m4.data,
    evaluation_start_date=conf.split_date,
    features=conf.features,
    model_update_days=180,
)

一个完整的示例策略:

克隆策略
In [3]:
M.stock_ranker_train_rolling.v2
Out[3]:
M.stock_ranker_train_rolling.v2(data, evaluation_start_date, features, number_of_leaves=30, minimum_docs_per_leaf=1000, number_of_trees=20, learning_rate=0.1, max_bins=1023, feature_fraction=1, model_update_days=365, training_max_days=0)
In [5]:
# 基础参数配置
class conf:
    start_date = '2010-01-01'
    end_date='2017-01-01'
    # split_date 之前的数据用于训练,之后的数据用作效果评估
    split_date = '2015-01-01'
    # D.instruments: https://bigquant.com/docs/data_instruments.html
    instruments = D.instruments(start_date, end_date)

    # 机器学习目标标注函数
    # 如下标注函数等价于 max(min((持有期间的收益 * 100), -20), 20) + 20 (后面的M.fast_auto_labeler会做取整操作)
    # 说明:max/min这里将标注分数限定在区间[-20, 20],+20将分数变为非负数 (StockRanker要求标注分数非负整数)
    label_expr = ['return * 100', 'where(label > {0}, {0}, where(label < -{0}, -{0}, label)) + {0}'.format(20)]
    # 持有天数,用于计算label_expr中的return值(收益)
    hold_days = 5

    # 特征 https://bigquant.com/docs/data_features.html,你可以通过表达式构造任何特征
    features = [
        'close_5/close_0',  # 5日收益
        'close_10/close_0',  # 10日收益
        'close_20/close_0',  # 20日收益
        'avg_amount_0/avg_amount_5',  # 当日/5日平均交易额
        'avg_amount_5/avg_amount_20',  # 5日/20日平均交易额
        'rank_avg_amount_0/rank_avg_amount_5',  # 当日/5日平均交易额排名
        'rank_avg_amount_5/rank_avg_amount_10',  # 5日/10日平均交易额排名
        'rank_return_0',  # 当日收益
        'rank_return_5',  # 5日收益
        'rank_return_10',  # 10日收益
        'rank_return_0/rank_return_5',  # 当日/5日收益排名
        'rank_return_5/rank_return_10',  # 5日/10日收益排名
        'pe_ttm_0',  # 市盈率TTM
    ]

# 给数据做标注:给每一行数据(样本)打分,一般分数越高表示越好
m1 = M.fast_auto_labeler.v5(
    instruments=conf.instruments, start_date=conf.start_date, end_date=conf.end_date,
    label_expr=conf.label_expr, hold_days=conf.hold_days,
    benchmark='000300.SHA', sell_at='open', buy_at='open')
# 计算特征数据
m2 = M.general_feature_extractor.v5(
    instruments=conf.instruments, start_date=conf.start_date, end_date=conf.end_date,
    features=conf.features)
# 数据预处理:缺失数据处理,数据规范化,T.get_stock_ranker_default_transforms为StockRanker模型做数据预处理
m3 = M.transform.v2(
    data=m2.data, transforms=T.get_stock_ranker_default_transforms(),
    drop_null=True, astype='int32', except_columns=['date', 'instrument'],
    clip_lower=0, clip_upper=200000000)
# 合并标注和特征数据
m4 = M.join.v2(data1=m1.data, data2=m3.data, on=['date', 'instrument'], sort=True)

m5 = M.stock_ranker_train_rolling.v2(
    data=m4.data,
    evaluation_start_date=conf.split_date,
    features=conf.features,
    model_update_days=180,
)


## 量化回测 https://bigquant.com/docs/strategy_backtest.html
# 回测引擎:初始化函数,只执行一次
def initialize(context):
    # 系统已经设置了默认的交易手续费和滑点,要修改手续费可使用如下函数
    context.set_commission(PerOrder(buy_cost=0.0003, sell_cost=0.0013, min_cost=5))
    # 预测数据,通过options传入进来,使用 read_df 函数,加载到内存 (DataFrame)
    context.ranker_prediction = context.options['ranker_prediction'].read_df()
    # 设置买入的股票数量,这里买入预测股票列表排名靠前的5只
    stock_count = 5
    # 每只的股票的权重,如下的权重分配会使得靠前的股票分配多一点的资金,[0.339160, 0.213986, 0.169580, ..]
    context.stock_weights = T.norm([1 / math.log(i + 2) for i in range(0, stock_count)])
    # 设置每只股票占用的最大资金比例
    context.max_cash_per_instrument = 0.2

# 回测引擎:每日数据处理函数,每天执行一次
def handle_data(context, data):
    # 按日期过滤得到今日的预测数据
    ranker_prediction = context.ranker_prediction[context.ranker_prediction.date == data.current_dt.strftime('%Y-%m-%d')]

    # 1. 资金分配
    # 平均持仓时间是hold_days,每日都将买入股票,每日预期使用 1/hold_days 的资金
    # 实际操作中,会存在一定的买入误差,所以在前hold_days天,等量使用资金;之后,尽量使用剩余资金(这里设置最多用等量的1.5倍)
    is_staging = context.trading_day_index < context.options['hold_days'] # 是否在建仓期间(前 hold_days 天)
    cash_avg = context.portfolio.portfolio_value / context.options['hold_days']
    cash_for_buy = min(context.portfolio.cash, (1 if is_staging else 1.5) * cash_avg)
    cash_for_sell = cash_avg - (context.portfolio.cash - cash_for_buy)
    positions = {e.symbol: p.amount * p.last_sale_price         for e, p in context.perf_tracker.position_tracker.positions.items()}

    # 2. 生成卖出订单:hold_days天之后才开始卖出;对持仓的股票,按StockRanker预测的排序末位淘汰
    if not is_staging and cash_for_sell > 0:
        equities = {e.symbol: e for e, p in context.perf_tracker.position_tracker.positions.items()}
        instruments = list(reversed(list(ranker_prediction.instrument[ranker_prediction.instrument.apply(
                lambda x: x in equities and not context.has_unfinished_sell_order(equities[x]))])))
        # print('rank order for sell %s' % instruments)
        for instrument in instruments:
            context.order_target(context.symbol(instrument), 0)
            cash_for_sell -= positions[instrument]
            if cash_for_sell <= 0:
                break

    # 3. 生成买入订单:按StockRanker预测的排序,买入前面的stock_count只股票
    buy_cash_weights = context.stock_weights
    buy_instruments = list(ranker_prediction.instrument[:len(buy_cash_weights)])
    max_cash_per_instrument = context.portfolio.portfolio_value * context.max_cash_per_instrument
    for i, instrument in enumerate(buy_instruments):
        cash = cash_for_buy * buy_cash_weights[i]
        if cash > max_cash_per_instrument - positions.get(instrument, 0):
            # 确保股票持仓量不会超过每次股票最大的占用资金量
            cash = max_cash_per_instrument - positions.get(instrument, 0)
        if cash > 0:
            context.order_value(context.symbol(instrument), cash)

# 调用回测引擎
m8 = M.trade.v1(
    instruments=m5.evaluation_instruments,
    start_date=m5.evaluation_start_date,
    end_date=m5.evaluation_end_date,
    initialize=initialize,
    handle_data=handle_data,
    order_price_field_buy='open',       # 表示 开盘 时买入
    order_price_field_sell='close',     # 表示 收盘 前卖出
    capital_base=1000000,               # 初始资金
    benchmark='000300.SHA',             # 比较基准,不影响回测结果
    # 通过 options 参数传递预测数据和参数给回测引擎
    options={'ranker_prediction': m5.evaluation_data, 'hold_days': conf.hold_days}
)
[2017-07-13 13:28:38.715827] INFO: bigquant: fast_auto_labeler.v5 start ..
[2017-07-13 13:28:38.717826] INFO: bigquant: hit cache
[2017-07-13 13:28:38.721618] INFO: bigquant: fast_auto_labeler.v5 end [0.005802s].
[2017-07-13 13:28:38.726689] INFO: bigquant: general_feature_extractor.v5 start ..
[2017-07-13 13:28:38.728025] INFO: bigquant: hit cache
[2017-07-13 13:28:38.728734] INFO: bigquant: general_feature_extractor.v5 end [0.002046s].
[2017-07-13 13:28:38.733901] INFO: bigquant: transform.v2 start ..
[2017-07-13 13:28:38.735110] INFO: bigquant: hit cache
[2017-07-13 13:28:38.735843] INFO: bigquant: transform.v2 end [0.001941s].
[2017-07-13 13:28:38.740682] INFO: bigquant: join.v2 start ..
[2017-07-13 13:28:38.741994] INFO: bigquant: hit cache
[2017-07-13 13:28:38.742694] INFO: bigquant: join.v2 end [0.00201s].
[2017-07-13 13:28:38.746806] INFO: bigquant: stock_ranker_train_rolling.v2 start ..
[2017-07-13 13:28:38.763894] INFO: bigquant: hit cache
[2017-07-13 13:28:38.764625] INFO: bigquant: stock_ranker_train_rolling.v2 end [0.017816s].
[2017-07-13 13:28:38.788413] INFO: bigquant: backtest.v6 start ..
[2017-07-13 13:29:05.927005] INFO: Performance: Simulated 482 trading days out of 482.
[2017-07-13 13:29:05.928151] INFO: Performance: first open: 2015-01-05 14:30:00+00:00
[2017-07-13 13:29:05.929060] INFO: Performance: last close: 2016-12-22 20:00:00+00:00
[注意] 有 1 笔卖出是在多天内完成的。当日卖出股票超过了当日股票交易的2.5%会出现这种情况。
  • 收益率292.92%
  • 年化收益率104.51%
  • 基准收益率-5.6%
  • 阿尔法1.07
  • 贝塔0.96
  • 夏普比率2.4
  • 收益波动率42.08%
  • 信息比率3.75
  • 最大回撤52.35%
[2017-07-13 13:29:07.888554] INFO: bigquant: backtest.v6 end [29.100092s].

你也可以自己写代码来实现更灵活的滚动训练,实现思路是将 训练和预测 放在循环里,最后将预测数据合并在一起,然后给回测。这样看到的是一条完整的曲线。稍后我们将提供过一个示例代码。


(matrixreloaded) #3

非常感谢,我仔细研究一下。


(njchenxin) #4

有同感,希望BQ的同学考虑一下这个建议


(神龙斗士) #5

非常感您的反馈,请试一试上面的方法,看看能否满足你的需要。希望能继续收到您的反馈,我们会持续改进。


(Apollo) #6

mark


(yangming) #7

请问rolling 支持自定义的特征吗?


(iQuant) #8

支持自定义特征。


(yangming) #9

您好 我使用自定义特征的时候报错。用非rolling的模型是可以的

ValueError Traceback (most recent call last)
in ()
115 evaluation_start_date=conf.split_date,
116 features=conf.features,
–> 117 model_update_days=30,
118 )
119

ValueError: min() arg is an empty sequence


(qci133) #10

刚试验了多次,这个策略点击了“克隆策略”后无法成功克隆。


(小Q) #11

假期问题回复不及时,希望理解!
我们收到您的反馈,研究完成后会第一时间通知您。


(iQuant) #12

我们测试了下,克隆策略是成功的,没有遇到问题。您再试一下,如果还有问题,欢迎加QQ群:625326167


(qci133) #13

现在重新测试了一下,克隆功能正常了。昨天多次点击克隆,浏览器中的URL均为qci133/lab?,问号后面没有参数;刚刚测试的时候,问号后面是有参数的,克隆也成功了。我猜昨天的问题应该与此有关。现在问题消失了就行了。


(iQuant) #14

好的,我们今天上午修复的。很抱歉给你带来困扰!


(qci133) #15

不用客气。我很喜欢你们的网站,以及你们在知乎的分享。所以使用中遇到问题我会及时反馈相关信息。希望大宽能越做越好,大宽->大款,哈哈。


(iQuant) #16

我们重构了对滚动训练的支持,更简单、更灵活,请参考如下文章:

https://community.bigquant.com/t/在策略中使用滚动训练/3542