手搓机器学习效率版--从65分钟到26秒（保温杯/Xgboost）
由bqnst8by创建，最终由bqnst8by 被浏览 16 用户
背景：去年7月份刚进训练营时，万老师的那著名的保温杯就一直被提起。可是一直就没有去深入，不是不想，就是每次跑都要一两个小时，实在没有耐心也试不出什么东西。另外，也但心模拟服务器跑不好。一个策略不经过反复测试也心里没有底，也不敢实盘。为了跑机器学习，于是我们好几个人都更新了笔记本电脑，都带了不错的显卡，内存也大大增加了，象我的内存就加到了96G。可是本地跑的问题是取数据太慢，策略还需要本地化改造。
最近在一次机器学习优化中找到了一个好方法，原来2年的时尚需要65分钟的回测，一下子提高到了26秒，这一下子引起了我的兴趣。于是干脆把原来的机器学习模板再好好优化了一下，这样会方便后期的魔改。数据也分段上载，2核16G服务器轻松回测10年数据，10年耗时才2分多钟。
主要改进如下：
- 利用并行运算及延时等方法，大幅提高回测速度，2年回测从65分钟提高到26秒。
- 分段上载数据，不怕内存溢出。例子中就用2核16G 跑10年，很顺畅。
- 自适应因子，需要加的因子直接往里面加就行，不必更改因子列表。
- 采用bigtrade.v58，回测结果显示更全面。
手搓的程序，可能还会存在bug, 请同学们指正。。。
https://bigquant.com/codesharev3/7ef6a41f-d452-4161-a819-80e88ced1e19
\