克隆策略
任务二： 获取历史数据并初步统计¶
1、首先通过API获取历史数据¶
In [3]:
df = DataSource('bar1d_CN_STOCK_A').read(['000001.SZA','300023.SZA'],'2017-02-10','2017-02-20',fields=['close','open','high','low','amount'])
In [4]:
df.head(6)
Out[4]:
2、分组统计groupby+agg的使用¶
In [10]:
'''查看按股票分组数据'''
groups = df.groupby('instrument')
for k in groups:
print(k)
In [19]:
'''查看按日期分组数据'''
groups = df.groupby('date')
for k in groups:
print(k)
In [11]:
'''按股票分组计算每个股票一段时间的成交量和收盘价中位数'''
df.groupby('instrument').agg({'amount':'mean','close':'median'})
Out[11]:
In [12]:
'''若聚合函数相同可以简化写法'''
df.groupby('instrument')[['amount','close']].mean()
Out[12]:
In [13]:
'''按日期分组计算每日所有股票的成交量和收盘价平均值'''
df.groupby('date')[['amount','close']].mean()
Out[13]:
In [23]:
'''按股票分组计算某列的标量统计量，eg.和、数量、中位数、分位数、最小值、最大值、平均值、方差、标准差、峰度、平均绝对离差'''
df.groupby('instrument')[['close']].agg({'sum','count','median','min','max','mean','var','std','skew','mad'})
Out[23]:
In [24]:
'''按股票分组后对多列进行不同的聚合计算'''
df.groupby('instrument').agg({'amount':['sum','min'],'close':['max','std']})
Out[24]:
In [56]:
'''多层索引的处理'''
datas = df.groupby('instrument').agg({'amount':['sum','min'],'close':['max','std']})
print(datas.columns)
columns = [k+'_'+v for k,v in datas.columns]
datas.columns = columns
datas
Out[56]:
In [69]:
''''按股票分组计算统计量序列，eg.累积和、累乘、峰度、偏度, 累积最小、累积最大、一阶差分、变化率'''
df_tj = df.groupby('instrument').agg({'low':['cumsum','cumprod','cummin','cummax','diff','pct_change']})
df_tj.head()
Out[69]:
In [16]:
'''常用统计量的分组快速查看'''
df.groupby('instrument')[['amount','close']].describe()
Out[16]:
案例：通过groupby将历史数据按照股票分组，计算滚动最近2日的成交额平均值¶
In [17]:
df.head()
Out[17]:
In [18]:
'''股票分组后计算成交量和收盘价序列的滚动两日平均值(移动均线)'''
df[['avg_amount','avg_close']] = df.groupby('instrument')[['amount','close']].apply(lambda x:x.rolling(2,min_periods=1).mean())
df.head()
Out[18]:
3、计算昨日收盘价¶
In [19]:
df['close_1'] = df.groupby('instrument')['close'].apply(lambda x:x.shift(1))
df.head()
Out[19]:
4、日收益率的计算、净值计算和累计收益率计算¶
In [20]:
'''将DataFrame转化为收盘价的日期序列表格'''
close_table = df.set_index(['date','instrument'])['close'].unstack() # 或者使用 pd.pivot_table(df, index='date',columns='instrument',values='close')
close_table
Out[20]:
In [21]:
'''计算日收益率 即 收盘价的1日变化率'''
daily_ret_table = close_table.pct_change()
daily_ret_table
Out[21]:
In [22]:
'''第一天的日收益率填充为0'''
daily_ret_table.fillna(0,inplace=True)
daily_ret_table
Out[22]:
In [23]:
'''计算当日净值 = 上一日净值 * (1+日收益率)， 这里默认第一天的净值为1.0'''
net_table = (daily_ret_table+1).cumprod()
net_table
Out[23]:
In [24]:
'''计算累计收益率 = 每日净值 - 1'''
cum_ret = net_table - 1
cum_ret
Out[24]:
In [25]:
'''整合后的快速计算'''
cum_ret = (df.set_index(['date','instrument'])['close'].unstack().pct_change().fillna(0) + 1).cumprod() - 1
cum_ret
Out[25]:
In [27]:
'''绘制累计收益率曲线'''
T.plot(cum_ret, title= '股票累计收益率曲线')
5、查看instrument列的唯一值(股票代码去重)¶
In [28]:
df['instrument'].unique()
Out[28]:
6、行运算举例：计算收盘价和开盘价的平均值¶
In [29]:
'''使用axis=1参数改变计算方向为沿行计算'''
df['avg_price'] = df[['close','open']].mean(axis=1)
df.head()
Out[29]:
7、数据拼接concat¶
In [32]:
'''纵向拼接'''
pd.concat([df,df,df]).reset_index(drop=True)
Out[32]:
In [34]:
'''横向拼接, 指定按公共轴date和instrument对齐,返回索引交集结果'''
df1 = df[['date','instrument','close']].set_index(['date','instrument']).head(3)
print(df1)
df2 = df[['date','instrument','open']].set_index(['date','instrument'])
print(df2)
pd.concat([df1,df2], axis=1,join='inner') # inner表示对于索引不同步时，返回交集结果
Out[34]:
In [35]:
'''横向拼接, 指定按公共轴date和instrument对齐，返回索引并集结果'''
pd.concat([df1,df2], axis=1,join='outer') # outer表示对于索引不同步时，返回并集结果
Out[35]:
- 回到之前的问题,计算了多个股票的累和等序列如何跟原数据表df拼接？
In [74]:
df_tj = df.groupby('instrument').agg({'low':['cumsum','cumprod','cummin','cummax','diff','pct_change']})
columns = [k+'_'+v for k,v in df_tj.columns]
df_tj.columns = columns
df_tj.head()
Out[74]:
In [76]:
'''groupby操作后索引顺序没有改变,直接按照索引拼接'''
pd.concat([df, df_tj],axis=1, join='inner')
Out[76]:
8.数据合并merge¶
In [79]:
'''使用merge指定按公共列date和instrument对齐合并，返回的结果方式包括inner、outer、left、right、cross'''
df1 = df[['date','instrument','close']].head(3)
df2 = df[['date','instrument','open']]
df_merge = df1.merge(df2, on=['date', 'instrument'], how='inner')
df_merge
Out[79]:
In [80]:
df_merge = df1.merge(df2, on=['date', 'instrument'], how='outer')
df_merge
Out[80]: