前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
一、新建项目和文件
scrapystartprojectifengHotNews
（iem.json是数据写入json后才生成的）
二、hotNews.py
三、Pipelines.py
此处有亮点，注意写入json的方法，import codecs ！！
加个编码规则可以避免出现json里面的中文出现乱码的情况！
将里面的下列注释#去掉
五、运行
scrapy crawl hotNews
（查看item.json文件，标题已经保存好）
网页结构：
//div[@id="headLineDefault"]/ul/ul[2]/li
遍历标题 txt = con.xpath('a/text()').extract_first()