【其他】请问爬虫抓下来的数据怎么保存到表里面？

由lstm666666创建，最终由small_q更新于2025-02-16 02:14 被浏览 17 用户

看了你们这个帖子(https://bigquant.com/wiki/doc/shujubiao-fangfa-POeL34TEZe)，但是没有说清楚，怎么循环的方式保存数据？我现在有个爬虫，会爬取另一个网站数据，会用一个for循环请求，每个循环获取5000条数据，需要增量保存到数据平台的表里

这个教程是会创建一个定时任务，在每天的固定时间触发（爬虫），每天拿到新数据后存到你的表里，建议你跟着这个步骤完整走一遍，如果还有问题可以在这里提出，我们帮你解答。
这边文章中`dai.DataSource`提供了数据表创建、读取、删除、更新等操作。尽量不使用之前的更新入库模块了，通过dai更新到表里，然后使用aistudio中的任务列表每日定时爬取数据。