策略分享

如何高效、优雅地进行高频策略回测?

由lizhuo111创建,最终由lizhuo111 被浏览 141 用户

今天与大家探讨高频策略的回测框架。高频策略的研发,有两个显著的特点: 一是数据量大,与日频相比,分钟频率就是百倍的数据量, 到秒级别更达到上千倍的差异。 二是对交易细节敏感,回测系统要尽可能去模拟真实交易的情形,甚至要比真实交易更严格,这样研发出来的高频策略才有实盘的价值。所以高频策略要考虑的细节很多,决策时间点,成交价,手续费,流动性等。细节考虑的不到位,策略回测和实盘交易就会差异很大,降低策略研发的价值和效率。 如何在大数据量前提下,尽可能的将细节考虑到位,就是高频策略回测系统的挑战,也就是严谨和高效的权衡。

下面和大家一起构建一个秒级别的策略回测框架。 一般来说,回测框架会包含以下几个模块: 数据处理, 策略逻辑,交易清算,绩效报告

数据处理:

数据模块是最基础和重要的环节,直接决定了回测框架的结构和效率,我们展开来看。 1) 加载原始数据 这里我们从parquet文件中加载原始的tick数据。 2) 将tick数据转换成10s级别的K线数据。 tick数据的结构以及通过resample转换成K线数据我们在上篇文章《》已经介绍过了,这里增加2个字段:

tick_resample['Bid'] = tick_df['bp01'].resample(freq, label='right').mean() tick_resample['Ask'] = tick_df['sp01'].resample(freq, label='right').mean() 把10s内的买卖委托价格的均值作为该K线的买卖委托价,这个价格我们用来做成交价格的模拟

3)准备策略决策数据 策略决策有可能用的K线已有的字段,也有可能需要基于已有字段衍生新字段。本例中我们基于Close衍生MA5和MA20两个字段

tick_df['MA5'] = tick_df['Close'].rolling(window=5).mean() tick_df['MA20'] = tick_df['Close'].rolling(window=20).mean() MA_S_arr = np.array(trade_df['MA5']) MA_L_arr = np.array(trade_df['MA20'])

对于高频数据处理,我们一定要尽可能地避免使用循环,用循环的地方多了,效率就很难提起来。我们使用rolling函数实现滚动计算指定长度的均值,这个内置的滚动机制要比显式的写循环计算快得多。为了方便策略逻辑使用,把决策用的数据转换成array格式,效率会提升不少。

策略逻辑

本例我们先设定一个简单的策略,更复杂的策略逻辑实现留到后面文章。 如果当前无持仓,MA5上穿MA20, 则开一手多单。 如果当前无持仓,MA5下穿MA20, 则开一手空单。 无论多单还是空单,持仓时间达到1分钟就平仓。 虽然逻辑很简单,但要实现出来,我们需要依赖当前的持仓状态,还要对持仓时间计数。所以无法避免地要写一层循环来实现。

策略逻辑

for tk in range(1,trade_df.shape[0]): if pre_hold == 0: if (MA_S_arr[tk-2] < MA_L_arr[tk-2]) & (MA_S_arr[tk-1] > MA_L_arr[tk-1]) : #开多逻辑 trade = 1 hold = 1 elif (MA_S_arr[tk-2] > MA_L_arr[tk-2]) & (MA_S_arr[tk-1] < MA_L_arr[tk-1]) : # 开空逻辑 trade = -1 hold = -1 else: trade = 0 hold = pre_hold else: if hold_time == 5: trade = -pre_hold hold = 0 hold_time = 0 else: hold_time += 1 trade = 0 hold = pre_hold trade_list.append(trade) pre_hold = hold

我们取一个具体的时间点来看看策略逻辑形成的交易点: 绿色框线处可以看到, 21:04:30时 MA5<MA20,21:04:40时 MA5>MA20,此时形成MA5对MA20的上穿,发出买入信号,买入交易是在21:04:40的下一根K线内完成,这笔交易持有时间1分钟, 在21:05:40的下根K线内完成卖出平仓交易。

交易清算

清算模块的核心就是又快又准确地把账目算对。 先做数据准备,在策略逻辑模块我们得到了trade_list, 是每个时间点的下单列表,把trade_list合并到trade_df中,并生成pre_cp, hold, pre_hold序列

trade_df['trade'] = [0] + trade_list trade_df['hold'] = trade_df['trade'].cumsum() trade_df['pre_hold'] = [0] + trade_df['hold'].iloc[:-1].tolist() trade_df['pre_cp'] = [trade_df['Close'].iloc[0]] + trade_df['Close'].iloc[:-1].tolist()

接下来计算每个时间点的盈亏值(pnl), 此时要分几种情况分别计算: 无交易,无持仓, pnl=0 无需处理 无交易,有持仓, 这种情况也简单,只需用最新价(cp)和前一根K线收盘价(pre_cp)来计算持仓盈亏

idx = trade_df['hold'] != 0 trade_df.loc[idx,'pnl'] = trade_df.loc[idx,'hold'] * (trade_df.loc[idx,'price'] - trade_df.loc[idx,'pre_cp'])*multiplier

持仓收益 = 持仓量*(最新价-前收价)*合约乘数

下面处理有交易情况的盈亏计算,分成买入/卖出两种情况,我们重点讨论买入的情况,卖出相反处理即可。

idx = trade_df['trade'] > 0 trade_df.loc[idx, 'trade_price'] = trade_df.loc[idx, 'Ask'] trade_df.loc[idx, 'fee'] = trade_df.loc[idx, 'trade'] * (trade_df.loc[idx, 'trade_price']) * multiplier * fee

先定位买入订单的位置索引,并指定买入订单的成交价为下一根K线的Ask均价, 也就是对手盘的均价。这里大家可以自行修改成交价的设定,可以假设为下根K线的开盘价/收盘价/平均价, 对手均价是比较严格的假设情况了,相当于我们要主动承担市场的买卖盘均价。 手续费 = 交易量 * 成交价* 合约乘数 * 手续费率

对于股票,买入单肯定是开仓的情况,而期货而言,买入单可能是买入开多,也可能是买入平空,所以我们分别处理。 买入开多:

idx1 = idx & (trade_df['pre_hold'] >= 0) #开多 trade_df.loc[idx1, 'pnl'] = trade_df.loc[idx1, 'trade'] * (trade_df.loc[idx1, 'price'] - trade_df.loc[idx1, 'trade_price']) * multiplier - trade_df.loc[idx1, 'fee']

买入开多情况的盈亏 = 交易量 *(最新价 - 交易价) * 合约乘数 - 手续费 这里注意是的,我们在这根K线的某个时间点以交易价买入后,就形成了持仓,从买入时间点到这根K线收盘这段时间的持仓收益,不能忽略了。

买入平空

idx2 = idx & (trade_df['pre_hold'] < 0) # 平空 trade_df.loc[idx2, 'pnl'] = trade_df.loc[idx2, 'pre_hold'] * (trade_df.loc[idx2, 'trade_price'] - trade_df.loc[idx2, 'pre_cp']) * multiplier - trade_df.loc[idx2, 'fee']

买入平空情况的盈亏 = 交易量 * (交易价 - 前收价) * 合约乘数 - 手续费 同样的,我们在这根K线的某个时间点以交易价平仓,从前根K线收盘到买入时间点这段时间的持仓收益,也应计算在内。

以上几步,就把买入交易的场景清算完成了。卖出交易也同理操作,分成卖出开仓和卖出平仓两种情况即可。

同样我们以上面的例子来看清算后得到的数据 先看21:04:50的买入交易: 成交价(trade_price)=15085.00 是该时间点的Ask价格,即对手均价。 手续费(fee) = 11508550.00015 = 11.31 盈亏(pnl) = 1(15080-15085)*5 - fee = -36.31

其他几个时间点的pnl大家可以手动算算。

绩效报告 一般计算绩效指标要先把高频数据转换成日频,用resample函数进行频率转换。并统计日频的手续费(fee),交易数量(trade_num),账户总资金(balance), 日收益率(rtn), 日净值(nav)

daily_df = pd.DataFrame(trade_df['pnl'].resample('D').sum()) daily_df['fee'] = trade_df['fee'].resample('D').sum() daily_df['trade_num'] = trade_df['trade'].abs().resample('D').sum() daily_df = daily_df.loc[date_list,:] daily_df['balance'] = daily_df['pnl'].cumsum() +balance daily_df['rtn'] = daily_df['pnl'] / daily_df['balance'] daily_df['nav'] = daily_df['rtn'].cumsum() + 1

转换后的日频数据如下:

绩效指标结果如下:交易天数(tradeDays), 总收益率(totalRtn), 年化收益率(yearlyRtn), 年化波动率(yearlyVol), 最大回撤(maxDD), 夏普比率(sharp), 卡玛比率(calmar)

可以看到这是一个每天亏钱的策略,这并不意外,如此简单的逻辑放在秒级别的高频策略上,不亏钱才意外。 当然我们先不关注策略本身赚还是亏, 而是把整个回测框架的逻辑和流程搞清楚,先有一套高效严谨的回测系统,才能高效专注地去研发策略。

回测性能 再看我们整套回测框架的性能,我们分别对每个模块进行计时,结果如下:

整个回测流程耗时1.56s,其中90%的时间是消耗在数据准备阶段。整个回测的时间长度是17个交易日,10s频率共计35000+个决策点。 当然,随着我们增加回测的长度,代码数量, 策略逻辑复杂度等因素,肯定会影响回测用时。

标签

高频交易金融市场交易策略
{link}