新型数据使用简介

新手专区
标签: #<Tag:0x00007f25a456d760>

(feynman0825) #1
克隆策略

新型数据使用简介

前不久,我们的新型数据在大家的殷切期待中终于上线啦,我们先在这篇帖子中介绍一下新型数据的使用,让大家尝尝鲜~

新型数据简介

雪球新闻

主要是雪球上的个股新闻,数据从2011年开始。

主要字段:

  • crawled_time:爬取时间
  • created_at:数据创建时间
  • instrument: 表示和这个新闻相关的股票
  • source: 数据源的url
  • title: 新闻标题
  • text: 新闻正文
  • type: 表示和这个新闻相关的股票交易所
  • date: 表示数据可用日期

数据调用示例:

In [10]:
news_xueqiu = DataSource('news_xueqiu').read(start_date='2017-01-01', end_date='2017-12-30')
news_xueqiu.head()
Out[10]:
crawled_time created_at date id instrument source symbol text title type
0 1.527076e+12 1.483233e+12 2017-01-01 79646850.0 000912.SZA http://stock.stockstar.com/JC2017010100000062.... SZ000912 因重大重组而停牌的泸天化(000912)昨日发布公告,公司收到控股股东泸天化(集团)有限责任... 泸天化控股股东启动债转股 深证
1 1.527074e+12 1.483244e+12 2017-01-01 79649971.0 603888.SHA http://cj.sina.com.cn/article/detail/326298443... SH603888 王文系中国人民大学重阳金融研究院执行院长。本文刊于12月27日新华网。 导语:第七届“纵论天... 【重磅推荐】美国很焦虑,中国要伐谋 上证
2 1.527074e+12 1.483236e+12 2017-01-01 79647921.0 600806.SHA http://cj.sina.com.cn/article/detail/583552473... SH600806 智通财经网新版上线,更多港股及海外理财资讯 <a href="http://www.zhit... 靠卖身、靠补助的昆明机床能撑到过年吗? 上证
3 1.527074e+12 1.483231e+12 2017-01-01 79646291.0 600663.SHA http://stock.stockstar.com/SS2017010100000034.... SH600663 NO.1 陆家嘴:涉财务造假 检索资料:第90期头条文章 《陆家嘴精心运作上海纯一股权转让虚... 2016年上市公司10大“乱象” 上证
4 1.527076e+12 1.483244e+12 2017-01-01 79649966.0 000677.SZA http://stock.10jqka.com.cn/20170101/c595832691... SZ000677 证券时报网(<a href="http://www.stcn.com" title="www... 恒天海龙控股股东兴乐集团与中弘卓业纠纷未了 双... 深证

和讯财经新闻

和讯财经新闻上包含的新闻类型就比较多,包含国内新闻、行业新闻、公司新闻等,数据从2018年6月开始。

主要字段:

  • crawled_time: 爬取时间
  • kind: 新闻类别
  • created_at:数据创建时间
  • url: 数据源的url
  • title: 新闻标题
  • text: 新闻正文
  • date: 表示数据可用日期

数据调用示例:

In [17]:
news_hexun = DataSource('news_hexun').read()
news_hexun.head()
Out[17]:
category text crawled_time date id kind title url
0 company_news <P>  2018年6月11日,深南金科股份有限公司于江海财富大厦举办揭幕盛典。深南股份董事... 1.528717e+12 2018-06-11 193185376.0 公司新闻 踏上新征程,深南股份总部正式落户南通 http://news.hexun.com/2018-06-11/193185368.html
43188 domestic_news <P>  和讯网消息 连日来的接近40摄氏度高温,让今年夏天早早笼罩上一层热浪。据调查在北京... 1.528717e+12 2018-06-11 193155616.0 国内新闻 红红火火恍恍惚惚 京城烤箱模式烤火外卖生意 http://news.hexun.com/2018-06-06/193155623.html
43189 company_news <p>  本轮主要投资人包括中国一汽集团、启迪控股、宁德时代、江苏“一带一路”投资基金等,资... 1.528717e+12 2018-06-11 193183392.0 公司新闻 拜腾完成B轮5亿美元融资 一汽集团、宁德时代等为主要投资人 http://news.hexun.com/2018-06-11/193183396.html
43190 company_news <P>  文 | 静静</P>\r\n<P>  <STRONG>国内精准融资事件(美元汇率1... 1.528717e+12 2018-06-11 193180960.0 公司新闻 四川长虹:拟17亿元收购控股股东旗下军工资产;闪闪完成2800万元A及A+轮融资… http://news.hexun.com/2018-06-11/193180953.html
43191 company_news <P>  进入改革开放第40个年头的2018年,国内有一批企业也来到“而立之岁”。一类是时常... 1.528717e+12 2018-06-11 193183056.0 公司新闻 “三十而立”康得集团:创新造就价值&nbsp;不惧成长迷雾 http://news.hexun.com/2018-06-11/193183059.html

新浪财经新闻

新浪财经新闻上的新闻,数据从2005年开始。

主要字段:

  • crawled_time: 爬取时间
  • category: 新闻类别
  • created_at:数据创建时间
  • url: 数据源的url
  • title: 新闻标题
  • text: 新闻正文
  • date: 表示数据可用日期
  • source: 新闻来源类型

数据调用示例:

In [19]:
news_sina = DataSource('news_sina').read(start_date='2017-01-01', end_date='2017-12-30')
news_sina.head()
Out[19]:
category text crawled_time date created_at source title url
131319 国内滚动 \n  中新网北京1月1日电(种卿)今日起,银行信用卡新规正式施行,未来持卡人不仅可以选... 1.528721e+12 2017-01-01 1.483200e+12 中国新闻网 刷信用卡迎来新福利:免息还款期或超60天 http://finance.sina.com.cn/roll/2017-01-01/doc...
131320 国内滚动 \n \n  822种“洋货”更便宜了,代购一族哭了;信用卡违约金不再利滚利,每日最高可... 1.528725e+12 2017-01-01 1.483235e+12 21世纪经济报道 图解:1月起这些变化将影响你钱包 http://finance.sina.com.cn/china/gncj/2017-01-...
131321 地方经济 新华社西安1月1日电(记者姜辰蓉)记者从西安市住房保障和房屋管理局了解到,《西安市人民政... 1.528717e+12 2017-01-01 1.483252e+12 新华社 西安楼市新规:一个家庭城六区仅能新购一套住房 http://finance.sina.com.cn/roll/2017-01-01/doc...
131322 国内滚动 \n  中新网北京1月1日电(记者 李金磊)新年福利多!进入2017年,\n有望陆续收到... 1.528721e+12 2017-01-01 1.483200e+12 中国新闻网 细数2017年政策红包:养老金继续提高 异地就医结算扩围 http://finance.sina.com.cn/roll/2017-01-01/doc...
131323 公司新闻 中国经济进入新常态,消费的拉动作用日益凸显,尤其是旅游、健康等民生服务业,不仅能有效提高... 1.528731e+12 2017-01-01 1.483219e+12 新浪财经 恒大民生工程促供给侧改革 http://finance.sina.com.cn/consume/puguangtai/...

同花顺

同花顺上的新闻,数据从2012年开始。

主要字段:

  • crawled_time: 爬取时间
  • category: 新闻类别
  • created_at:数据创建时间
  • url: 数据源的url
  • title: 新闻标题
  • text: 新闻正文
  • date: 表示数据可用日期
  • type: 新闻来源类别

数据调用示例:

In [21]:
news_tonghuashun = DataSource('news_tonghuashun').read(start_date='2017-01-01', end_date='2017-12-30')
news_tonghuashun.head()
Out[21]:
category text crawled_time date created_at source title type url
0 沪深 nan 1.527092e+12 2017-01-01 1.483244e+12 雪球 淡定胜于冲动 雪球 https://xueqiu.com/4079093949/79650141
1 金融市场 银行业仅意识到绿色金融发展机遇还不够,只有尽快付诸行动,才能变战略机遇期为爆发式增长期。... 1.527107e+12 2017-01-03 1.483382e+12 上海证券报 绿色金融从战略机遇期到爆发期的时间之窗 同花顺 http://news.10jqka.com.cn/20170103/c595834261....
2 金融市场 http://e.thsi.cn/img/a10061a0a7f83043\n  \n  证... 1.527107e+12 2017-01-03 1.483383e+12 证券时报 农商行发起设立城商行首现新疆 9家民营银行待开业 同花顺 http://news.10jqka.com.cn/20170103/c595834287....
3 金融市场 2016年12月30日,中国人民银行发布《金融机构大额交易和可疑交易报告管理办法》(以下... 1.527107e+12 2017-01-03 1.483383e+12 每日经济新闻 央行澄清:大额外汇交易报告并非审批 个人购汇额度不受影响 同花顺 http://news.10jqka.com.cn/20170103/c595834308....
4 金融市场 http://e.thsi.cn/img/7f660aa778771bdd\n  \n  \... 1.527107e+12 2017-01-03 1.483388e+12 证券日报 首家银行年报3月份方亮相 8家银行将交上市后首份年报 同花顺 http://news.10jqka.com.cn/20170103/c595834402....

(Plenari) #2

如果能标注一下新闻的正负影响就好了。


(chaoskey) #3

在我的理解中: 正负影响,体现在股价中了。 如果你说是独立影响程度,这个则是需要去靠特定模型去提炼的。