为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示:


Python和相关依赖库的安装

运行环境:Windows10

安装Python3.5.2

Lxml 3.6.0

下载网页内容提取器程序

网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类,使用这个类,可以大大减少信息采集规则的调试时间

网络爬虫的源代码

运行过程如下:

将上面的代码保存到anjuke.py中,和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中

打开Windows CMD窗口,切换当前目录到存放anjuke.py的路径(cd xxxxxxx)

运行 python anjuke.py

请注意:为了让源代码更整洁,也为了让爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个好处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网络爬虫代码不用修改。

爬虫结果

在项目目录下可以看到多个result**.xml文件,文件内容如下图所示:


本文转载:CSDN博客