前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

以爬取斗鱼直播上的信息为例:

URL地址:http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0

爬取字段:房间ID、房间名、图片链接、存储在本地的图片路径、昵称、在线人数、城市

1.items.py

 2.spiders/douyu.py

pipelines.py


本文转载:CSDN博客