张红庆：机器学习在高频交易的应用 | 开源量化论坛发言纪要
由qxiao创建，最终由qxiao 被浏览 12 用户
会议：开源证券资本市场峰会，量化分论坛
日期：2020年12月8日 \n 地点：上海浦东丽思卡尔顿酒店 \n 主办：开源证券金融工程团队 \n
主题演讲：机器学习在高频交易的应用 \n
特邀嘉宾：张红庆
深圳市丽海弘金科技有限公司副总经理，高中全国奥数一等奖，华中科技大学电信系，15年移动通信行业从业经验，5年量化金融科技从业经验。
发言纪要：
大家好！感谢__开源证券金融工程团队__的邀请，今天在会场也见到了很多我们__丽海弘金__的客户。我简单介绍一下丽海弘金，我们是__金证股份__旗下从事量化交易的金融科技子公司。金证股份其实跟在座的各位应该都有关系，因为我们在证券市场是承担了整个A股50%的交易量，在双A的券商中，我们的市场占有率在60%以上；另外，今天在座的很多都是买方机构的朋友，在公募基金等大资管领域，我们的市占率大概是30%；这是我们母公司的一个情况。丽海弘金是2014年注册成立的，是一家量化金融科技公司，我们刚完成了A轮融资。因为今天是一个策略会，我分享的内容主要是通过T0交易策略，来讲一下__model和trading之间的关系__。
1、AI赋能金融
我这个题目通俗地讲，就是说“量化如何抄主观的作业”。我先铺垫一下现在AI和金融之间的一个关系。有一句话叫做：用Python写的叫机器学习，用PPT写的叫人工智能，我这里是用PPT写的。我觉得与投资相关的人工智能无非就是两个方面：
第一块是属于流程自动化，就是RPA这一块，包括我们刚才提到的一些数据清洗、数据录入等等，在量化投资行业还是有大量的应用，在这一块我们金证也有很不错的子公司在服务很多金融机构，叫“金智维”。券商、银行、保险，包括一些大的公募，现在也在用我们这一块的产品。
另外一块就是辅助决策。我今天讲的主要是辅助决策这一块。大的方面分三大块，我们讲的智能在我看来都是偏marketing。换句话说，是对卖的产品的一种包装，我是这么理解的，因为这里面真正智能的东西在我们看来并不是特别多。现在大的范畴，比如我们叫智能投顾，现在有证券咨询的智能投顾的服务，也有基金配置的智能投顾的服务，那么无非就是三个方面。
第一个方面是__智能投顾__。这是面向客户端的，其实就是根据产品的一些情况，我们如何跟客户提供一些智能的服务。
第二个方面是__智能配置__。比方说公募基金客户要买100万，你可能给一个组合，这一块原来银行有公募基金的智能投顾，今年券商也在试点。
第三个方面是__智能交易__。我今天要讲的是智能交易这一块，为什么要选智能交易？我想拿其中的一个案例给大家分享一下，就是model和trading如何来结合这个点。
关于人工智能在交易这一块，我们经过了长期的实践。我说的实践有两个层面。丽海弘金本身是一家做智能交易的公司，智能交易我们简单的说，就是复杂交易的智能化解决方案。金证股份伴随着整个中国证券市场将近30年，是九几年创业的一家公司，从开始的红马甲一直到现在电子化交易，中间经历了人工报单、电话委托、小键盘、还有热自助等等，只有从九几年就参与整个中国证券市场的人，才能够知道这些东西。还有另外一家公司，恒生电子，金证和恒生帮助中国证券市场完成了整个电子化交易的进程。现在有一个趋势就是刚才大家讲的机构化，机构化有一个很典型的特点，就是交易的复杂化。所以我在这里讲智能交易，应该是叫做复杂交易的智能化解决方案，更多的是提供一些工具，这里面我觉得更多是流程性的，还不太涉及与智能决策有关的东西。
另外一个实践就是真正地与金融工程相关的，我们也有6年的实践。我们从2015年开始做量化基金，现在丽海弘金__旗下有4家量化私募，管理规模大概25亿左右__。在这个实践中我们得到一个结论，就是如果直接基于金融的数据，机器学习的各种各样的工具能不能得到一个超额收益，我们的结论是比较困难。就是说中间有一层金融工程这一条还是必不可少，这是我们得到的一个结论。
金融工程的话，也是两个方面，一个是截面的，一个是择时的。开源金工团队做了很多截面这一块的出色研究，我待会儿会分享一个高频择时方面的一个研究。机器学习这一块目前分了两类，有极少数机构是在用深度学习直接去学习金融的数据，能够产生超额。绝大多数机构，我觉得应该是像我们一样，还是借助金融工程这样的一个适配层。换句话说，我们的机器学习更多的是对金融工程模型的优化或者校验，或者说其实还是在抄作业。正如刚才一个嘉宾的分享，就是说量化和主观之间的一些PK，包括什么时候认怂，什么时候去抄作业，那么我们也是一样的，其实在高频领域也同样存在着认怂和抄作业的各种行为。
从最近的趋势可以看到，国外的买方端的投入实际上比卖方端的投入要大很多，国外的很多对冲基金，IT投入一年是千万美金级别，券商反而投入不大。中国其实现在也慢慢出现这种情况，买方端的投入越来越大。我们也在辅助客户做两件事，第一是帮券商去建设策略交易网关，我们叫机构交易通道，包括全市场的市场接入，交易的风控，策略服务等等，这是一个层面。第二是我们也在帮一些大型的客户去建设买方端的基础设施。基础设施主要是三个部分，一个是数据部分，一个是我们称之为计算或者投研部分，还有一部分是交易执行。我们是比较偏交易执行这一块的，这里就涉及到我会详细介绍的系统，比方说典型的是OMS（订单管理），这是非常重要的一个策略服务。向上还有PMS（投资组合管理），还有投后的AMS（投后管理）等等，买方的系统非常偏交易执行。交易执行分为低频和高频两种，第一个就是低频，低频对于交易系统的要求相对来说比较低，但是高频这一块model和trading耦合的很紧，对交易系统要求是非常高的。
金融科技对于量化金融的赋能，我觉得目前主要还是对于一些偏高频的客户，赋能非常明显，对于一些低频的客户，我相信后续随着规模增加，也会有更多的需求。
2、智能日内交易（AI T0交易）
在国内目前做股票高频交易主要是两个，第一个维度是建仓调仓的算法交易，大家都很熟悉，很多公募和私募都在用。另一个维度就是日内交易。中国证券市场目前是T+1的市场制度，但是从各个数据去统计分析的话，在我看来日内交易目前在国内承担了一个marketmaker的角色。我给大家共享几个数据，第一个就是现在手动的交易员应该是1~2万人，这是相当大的一个体量，如果每个人有1000万的交易量的话，这是一个千亿级别的交易量。
另外，现在很多量化私募都在做同一件事情，就是Alpha+T0，很多是属于程序化的T0交易，现在头部私募，我相信至少有30%的头寸，是在做日内交易的，这样算下来的话，中国整个证券市场一天1万亿交易量的话，日内交易的交易量应该是在2000亿左右，那么他们的超额是什么？在我看来很像国外做市商的超额，就是来自于提供流动性的回报。但是国内做T0的超额比国外做市商要难，因为要承担印花税，同时还要承担双边的通道费。在这种情况下，也可以理解成是为市场提供流动性的一种投资收益。
我先说一下站在主观交易的角度，日内交易应该怎么做，其实都是利用市场的一些pattern。简单的说，所谓的pattern就是一些模式，我们叫三板斧，这三板斧分别是板块联动、放量突破和超跌反弹。但是这三板斧站在程序的角度或者站在量化的角度，仍然非常难超过人类，这个我们也做了大量的实践。
介绍一下我们的日内交易团队，我们的日内交易团队是从2015年开始常年稳定在100人左右，日交易量一直是在15亿+/天，订单的话，每个人一天大概是300笔左右的订单，就是一个交易员一天交易300笔，我们有100多人，一天就3万笔，我们又做了6年的时间，所以我们手里头是有大量的作业可以抄。无论是在量化的角度或者是在机器学习的角度，这些订单都给我们提供了开发程序化或者叫智能化的日内交易的数据。
日内交易我们经过了长期的实践，我分享一些我的原创性观点。大家都知道期权有一个波动率曲线，我发现其实做量化也存在一个信息率曲线，这个信息率曲线我们如果从时间架构的角度讲，从毫秒到秒到分钟到小时到日，然后再到周，再到月再到季再到年的话，它就是一个信息率曲线。信息率曲线最低点在哪？最低点其实在日线，就是说如果是做这种持仓一两天的交易，其实竞争是非常激烈的，或者说是信息率非常低的一个策略。
站在时间架构的角度讲，就是从tick到几十秒这样的一个时间架构，从我们的实践来说，信息率可以说是非常高的。站在单笔交易的维度，我们基本上能够做到75%的胜率，这在选股的角度几乎是不可实现的，因为这是一个更大的时间架构。夏普我们基本上会做到20，如果日夏普可以做到20，基本上是挣20块钱冒1块钱的一个风险，年化10~15%的收益，只承担0.5%的回撤。在高频领域，我们这是一个非常高的信息率。在日频方面，其实我们的实践也好，其他机构的实践也好，信息率是非常难做得很高的。这个时候拼什么？我觉得在高频领域拼的是统计驱动+IT系统，就是说如果统计模型建得非常完善，再加上IT系统在市场上比较锋利，那么会有一些较大的优势。
在日线这个维度，我们觉得它的信息率低，首先它是个有效市场，刚才也有嘉宾分享了有效市场的一个概念，其次这块参与的投资人非常多。这块儿拼什么？我觉得主要是拼阿尔法mining，就是拼Model，包括算力。再到更大的时间架构，比方说月、季、年这样的一个时间架构，这时候主要是拼数据和逻辑，这个是我分享的一个信息率曲线的概念。
另外是什么导致了信息率曲线，我们也做了很多分析，刚才很多观点其实大家都一样。在我们看来，未来一笔交易能否做对，其实是三个因素。
第一个因素我们称之为backtest，就是说回测怎么样？第二个因素我们称之为突发事件，包括刚才嘉宾也分享，从2010年股指期货上市以来，整个证券市场经历了很多突发事件，这些突发事件每一次出现都是不一样的。还有一个因素就是相关市场的影响，比如说美股和A股之间的一些影响。如果把这三个因素都看作三分之一权重的话，会发现量化实际上是很无力的，就是说在这个串联决策链中，能够起到影响作用的，只有三分之一。量化模型可能获取60%左右的一个优势，剩下的像突发事件、相关市场的影响，在backtest的架构里是没法解决的。
我觉得在高频的架构情况下，突发事件和相关市场的影响相对来说要小一些。但是我们发现在这个时间架构上，人类仍然会很有优势。我举几个例子：比如说新股上市，程序化T0只能等，它完全没办法，因为没有历史数据，不可能用其它股票的高频数据替代这个股票高频数据去训练model。所以包括像科创板、创业板的注册制等等，这些量化刚开始都没有办法，只能等，但是对于主观交易来说是无所谓的，马上就可以交易，这是主观的一个优势。
另一个站在日内交易的角度，交易员是唯恐没有市场波动，因为突发事件就是盈利的来源。日内交易员最大的一个盈利模式是来自股票之间的关联，我们可以用半个统计学的维度去解决，比方说协整，实际上量化仍然没有交易员敏感，因为量化模型的协整也是建立在历史数据的协整，但是交易员可以瞬间发现，两个股票关联是最紧密的，模型都很难跟上它的变化。所以在日内交易上，我们也发现在几秒到几十秒这样一个时间架构，主观交易仍然有非常大的优势来战胜程序化交易。
回到刚才嘉宾分享的一个图，就是Alpha Go， Alpha Go是一个固定的围棋规则的人工智能，围棋是封闭环境，Alpha Go只有一个对手，并且规则是固定的，换句话说，你可以通过算力来进行穷举。但是金融市场是开放式的一个架构，很难用算力的方式去解决高频的交易订单。所以我们也分析为什么在日内交易，主观有很大的优势。我们再把时间架构再放大或者是缩小到毫秒级，这个时候从我们刚才提到的model和trading两个维度，我认为到毫秒级人类是完全没有优势了，因为人工的trading的速度已经完全受限制。所以我们觉得在几秒到几十秒这个区间，人类的trading速度还没达到瓶颈的时候，会有很大的优势。
我们的实践是这样，我也了解到国内很多量化公司仍然有上百名的主观交易员，应该说行业间基本上是一样的。首先说一下数据，日内交易主要的数据来源就是 Level-2，Level-2的数据量是相当大的，一天大概是8G左右，它包含几个维度的数据，是快照、主笔成交、逐笔委托、还有委托队列等等，这些数据是做日内交易的数据来源，交易员主要参照两个，一个是快照，还有一个就是逐笔委托。
我们的做法又回到传统的套路上了，首先还是站在截面的角度去做，因为现在做日内交易也分了两个流派，第一个流派是站在截面的角度，比方说持仓300支股票，可以去long short bottom top10%或等等，这是一种做法。另外一个就是择时的逻辑，我们现在是这两种方法都用。截面这一块，去看它的信息率的话，相对来说也是非常高的，虽说它的超额很低，可能只有万几到千几，但是它的信息率是非常高的，择时这一块也是一样的。
说一下和机器学习之间的一些结合。我们和机器学习的结合是在择时和截面的这些数据处理之后，才会去结合机器学习。这一块也是有两个时间维度，第一个时间维度就是end of day，就是收市之后，会重新计算股票明天的 model的参数配置，还有一个维度我们现在还在探索。当做1个股票交易的时候，真正交易的可能是1个model，但下面还有9个model在simulation，那么一旦发现其他9个好的，可能会随时把online做trading的给它切换成另外一个就是做simulation的，这么做什么好处？我觉得能够部分解决刚才我说的量化的两个缺陷，一个是对突发事件的反应速度，还有一个是对相关市场影响的反应。从参数优化的角度，从金融工程的角度讲，我们更多是在做并行计算，像开源金工魏博团队的很多研究一样，他们也在深入到高频的微架构的数据处理，可能更多的是输出end of day的因子，我们是直接把这些数据就变成了日内因子，然后直接去trading，这是一个区别。那么这些因子其实我们会去做暴力计算，然后通过机器学习、或者神经网络算法，或者遗传算法，对这些参数进行收敛，这是我们在使用机器学习的一个方法。
说一下系统。我们现在发现买方的系统越来越复杂，比如说一些管理规模50亿左右的量化私募，面临的情况是这样的：可能有几十个模型，同时还有几十个产品，同时还在十几家甚至几十家券商都开了上百个账户，大家可以想象一下这个map实际上是非常复杂的。丽海弘金一直致力于解决买方端的量化交易系统，我们现在跟一些规模几十亿的私募合作，基本上是给他提供一个OGS（订单路由），包括OMS（订单管理），包括PMS（投资组合管理）一整套的解决方案。但我们不会去碰投研系统，因为这是每家量化私募的核心竞争力，我们更多的是帮量化私募去做好交易。
我刚才说到的几个模块，OGS是到券商的各个柜台的一个网关， OMS是订单管理，里面有很多相关的服务，例如面向策略的接入服务、事前的交易风控、交易的流量、流速、撤单、委托等等这些参数的控制；还有一些清算，我们现在以分策略清算，就是说如果一个产品里头有多个模型，同时这个产品有多个账户，我们可以实现多维度多层级的清算，用于投后管理，就是AMS这一块。我们坚决不触碰交易合规的红线。
交易端，我们现在支持两种，一个是主观日内交易的交易端，另一个是量化交易的交易端。当然还有管理端。这套系统目前我们已经在行业内支持了几百亿的资产规模，未来我们相信会有更大的AUS的量, 就是asset underservice。
分享一下我们在程序化T0交易的一些数据，我们从两个维度来说。第一个维度就是日内交易它和什么正相关，简单的说和整个市场的交易量正相关，无论是我们还是其他的交易团队，都是这样的一个结论。从收益率的角度讲，如果在整个市场放量的时候，你会发现高收益的券会一下子迸发出来，它这个比例就不是简单的线性了，我们觉得都是指数级的增加，今年7、8月份的时候，很多券收益是非常高的。
那么第二个是和板块的一个关联度，其实还是会回到波动性这样的一个维度。我们可以发现对于像上证50这种，可做的比例是非常低的，对于中证1000可做的比例就会很高。
还有一个就是资金容量的预估。因为日内交易它有一个特点，就是基本上都是在做提供流动性的交易，换句话说交易主要是在吃对手价，买的时候用卖价，卖的时候用买价，手工基本上百分之百全部来自于打单，很少是限价挂单。程序化会在获得机会的及时性和交易成本之间要去做trade off，所以我们的程序化至少80%以上是来自于这种市价单，只有20%会利用限价单去适当的降低一些成本，但是在降低成本的同时，也冒着丧失交易收益的风险。为什么资金容量能够比较精准的去估算？就是说一个程序化策略它的容量主要来自于一个订单簿的深度的估算，以及收益对成本的容忍度。
以我们的策略为例，一个程序化的策略平均容量是在10亿到40亿，就目前这个行情大概是20亿到30亿，我说的这只是一个策略的市场容量。看一下我们实盘的业绩，这是一个阿尔法+T0的产品，大家可以直观的去判断夏普，或者从模型的角度看信息率，这是直接能够看出来的。
目前来说，无论是手工T0还是程序化T0，都能够提供10倍以上的夏普比，这个夏普我认为还是一种不公平计算的夏普。因为一个成熟的团队，T0策略它基本上是没有回撤的，就是说站在日线的角度，回撤的概率不会超过10%，站在周线的角度是不会超过5%，月线基本上是不会有回撤的。所以夏普公式的分子是收益方差，这个方差有向上的波动，也有向下的波动。所以我觉得用夏普这样一个指标去评估T0策略，本身是不科学的一个指标。
量化选股+T0我认为是目前无论是在做指增还是做中性的公司都在使用的策略。我们也在为国内上百个团队提供T0的两个支持，第一个是手工T0的交易系统，主观交易应用的；第二个是AI T0的一个策略框架，在AI T0的策略框架中，我们提供了很多策略服务的支持，包括Alpha和T0单独的清算，T0专用的日内交易的风控，防对敲、流速、流量、委托、撤单等这些指标的控制。
现在国内很多量化私募在用我们这个策略框架，相对通用策略接口，我们的策略接口有哪些好处呢？主要是我们做了很多策略服务，交易团队就不需要再去做了，例如日内的专用风控， T+1和T+0的券源管理，统计报表等等。量化私募可以直接基于我们的策略框架的接口二次开发来做策略交易，从而实现更好的阿尔法策略或者指增策略的一个融合。
说一下 T0策略的可持续性，我总结是两个，第一个高度确定。什么叫高度确定？就是说这一周测出来的收益和下一周预期实盘的trading之间的比例，它是非常高度确定的。在低频这里我们其实做不到这一点，因为我们不知道这个因子它未来会衰退成什么样子，或者会变贵成什么样子。第二个就是衰退速度会非常快，选出一个票，现在预估年化收益是30~40%，其实两周以后可能它的收益基本上就没法做了，但是很有把握，下周可以做到20~30%，所以从这个角度讲，日内交易的信息率可以做到非常高，换句话说我们对模型本身的可预测性是非常有把握的。
3、丽海弘金AI T0团队
最后讲一下我们的团队，目前我们在交易系统这一块，包括策略交易的模型这一块的开发，有两个基因。第一个基因就是有一些在国外做过高频交易的精英，第二个就是我们金证股份做柜台交易系统开发的几十年技术积淀。目前我们总结AI日内交易跟主观日内交易大概是什么样的一个比例，如果主观交易的打分是100分的话，我们的团队的AI日内交易的水准，相当于主观的40-60%左右，就是说我们主观可以做到日均千二左右的一个收益，那么量化大概只能做到日均千一，甚至还要再弱一点，这是我们目前团队尝试出来的一个结果，当然我们还在不断地去提升AI这一块的收益。我们也走访了很多其他团队，可能在算力投入更大一点，或者在阿尔法mining这一块投入人员更多一点，收益会有一些提升，但是空间也不大，可能70%应该是一个天花板。今天我的分享就到这里，谢谢！
\