Gerber统计量：更稳健的相关性指标
由crisvalentine创建，最终由crisvalentine 被浏览 30 用户
组合优化中，计算各资产之间的相关性，即协方差矩阵是非常关键的一步。在Sander Gerber与Harry M. Markowitz的最新论文中，提出了一种新的相关性度量指标Gerber统计量，相对传统的协方差矩阵，这个统计量的表现来的更加稳健。
如何计算Gerber statistics
假设有 个证券标的， 个时间。令 表示标的 在时间 的收益率。对于在时间 ，任意两个标的组合 ，我们将它们的收益对 根据以下公式转换为联合变量 :
也就是说，当标的 同向涨跌超过一定幅度， 为1，此时称 为concordant；逆向涨跌超过一定幅度， 为-1，此时称 为discordant；其他情况， 为0。上式中，标的 涨跌判断的阈值 的计算方法如下：
其中 为常数，一般取 （也有可能取数学公式: 或）， 为标的 的收益率的标准差。
综上，我们定义Gerber统计量：
如果用 表示上式中concordant的数量， 表示discordant的数量，那边上式可以改写为：
从上等可以看出，如果设 为0，那么等式4计算的就是Kendall's Tau相关系数。
Gerber矩阵
有了Gerber统计量，我们就有了Gerber矩阵，我们用 表示。在矩阵 中，第 行 列的值 表示标的 的Gerber统计量。同时，我们用 表示所有标的在过去一段时间的收益率矩阵；用 表示 中收益率超过一定阈值（上限）的矩阵，即：
那么各标的过去收益率超过上限阈值的次数就等于：
同样用 表示 中收益率低于下限阈值的矩阵，即：
那么各标的过去收益率低于下限阈值的次数就等于：
最后定义同向变动次数矩阵 ：
逆向变动次数矩阵 ：
那按照等式4定义的Gerber统计量，Gerber矩阵可以写为：
其中 为Hadamard除法（位置对应），且Gerber协方差矩阵为：
其中 是收益率标准差构成的对角矩阵。
解决 矩阵非半正定的问题
在实证研究中，我们发现根据等式9计算的Gerber协方差矩阵经常为非半正定矩阵。由此作者改进了Gerber统计量的计算方法。我们可以对任意两个资产， 根据各自的上下限阈值把一个区域分为如下的9个部分：
那么等式4可以改下为如下等式10：
而上式的分母于等式11的分母等价，在实践过程中，由等式11计算的Gerber协方差矩阵均为半正定。
Gerber统计量与Pearson相关系数的比较
1、相关系数基于所有历史数据进行计算，而不管两者是否是同向涨跌，这其中可能包括了部分噪音，导致相关系数对较小的同向涨跌比较敏感
2、而Gerber统计量，正如等式11的分母所示，仅包含了显著涨跌的数据，这使得Gerber统计量比Pearson相关系数更稳健
实证分析
数据
作者使用了1998年1月至2020年12月，多个股票债券指数及商品期货，具体如下：
- S&P 500 index (U.S. large-cap stocks; Ticker SPX)
- Russell 2000 index (U.S. small-cap stocks; Ticker RTY)
- MSCI EAFE index (captures large and mid-cap equities across twenty-one developed
- countries excluding U.S. and Canada; Ticker MXEA)
- MSCI Emerging Markets index (captures large and mid-cap equities across twenty-seven emerging markets; Ticker MXEF)
- Bloomberg Barclays U.S. Aggregate Bond index (includes Treasuries, government-related and corporate securities; Ticker LBUSTRUU)
- Bloomberg Barclays U.S. Corporate High Yield Bond index; Ticker LF98TRUU
- Real estate FTSE NAREIT all equity REITs index; Ticker FNERTR
- Gold; Ticker XAU
- S&P GSCI Goldman Sachs Commodity index; Ticker SPGSCI
比较的方法
文中对以下三个计算协方差矩阵的方法进行比较：
1、HC：传统通过历史收益率计算协方差矩阵的方法。
2、SM：Ledoit and Wolf (2004)提出的一种将历史收益率协方差矩阵与某个固定矩阵加权的方法：
3、GS：如等式9计算的Gerber协方差矩阵。
组合优化
组合优化的目标函数为考虑交易费率的期望收益最大化，限制条件为组合波动率小于限定目标看，且只允许做多。
Maximize:
Subject to:
结果
作为一个自定义参数，当 越大，上下限阈值的绝对值越大，噪音就越低。作者测试了不同的 取值，在不同波动率目标下，年化收益率的比较。可以看出，无论 取什么值，年化波动目标设置为多少，在HC、SM及GS三个方法中，GS的表现总是最好。
代码
想快速验证的小伙伴，参考Github已实现的代码：