前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
以爬取斗鱼直播上的信息为例:
URL地址:http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0
爬取字段:房间ID、房间名、图片链接、存储在本地的图片路径、昵称、在线人数、城市
1.items.py
2.spiders/douyu.py
pipelines.py