首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到你想要放的位置 你需要配置一下环境变量哦
如下图:
首先,我们怎么让浏览器模拟操作,也就是我们自己先分析好整个操作过程,哪个地方有什么问题,把这些问题都提前测试好,没问题了再进行写代码。
打开bilibili网站 https://www.bilibili.com/ 发现下图登陆弹窗
那么这里我们就得先把这个弹窗去除,怎么去呢?你刷新一下或者点一下 首页 就不会出现了,所以这里我们可以模拟再刷新一次或者点击首页。
接下来搜索关键词 蔡徐坤 打球 这时就涉及到搜索输入框和搜索按钮
点击搜索后我们看到了下列内容,其中圈起来的就是要爬的信息啦 这时就涉及到页面源码获取,数据元素定位
那么上面这个过程走完了的话 我们也可以选择写入xls格式,同时这里还少了一个事,那就是我现在才爬了一页,那难道不写个自动化爬取全部吗?
那此时就得解决循环获取和写入xls 更重要的事怎么去操作页数和下一页按钮
大致的思路就是这样子了!!!
先导入这些模块
定义一个浏览器对象并设置其他功能
创建excel文件,再创建一张工作表,名为 蔡徐坤篮球,并且设置支持覆盖原数据!
打开网站
browser.get('https://www.bilibili.com/')
寻找 “首页” 元素
先判断是否加载 输入框 再判断搜索按钮是否能点击 达到条件后输入内容进行搜索
这时搜索完 是弹出新的窗口 这时就得获取窗口句柄 实现标签页跳转
all_h = browser.window_handles#获取所有窗口句柄browser.switch_to.window(all_h[1])#switch_to.window 标签页跳转
接下来就是获取页面源码了(此处非全部源码)
WAIT.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#server-search-app > div.contain > div.body-contain > div > div.result-wrap.clearfix')))#坚持是否加载完所有搜索结果html = browser.page_source#page_source方法可以获取到页面源码
然后搜索元素并提取内容进行保存
再最后就是循环获取每一页提取数据最后写入xls文件!!!