什么是requests模块
requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。
为什么要使用requests模块
因为在使用urllib模块的时候,会有诸多不便之处,总结如下:
手动处理url编码
手动处理post请求参数
处理cookie和代理操作繁琐
......
使用requests模块:
自动处理url编码
自动处理post请求参数
简化cookie和代理操作
如何使用requests模块
安装:
pip install requests
作用特点
作用:就是用来模拟浏览器上网的。
特点:简单,高效
使用流程
指定url
基于requests模块发起请求
获取响应对象中的数据值
持久化存储
无参数:
爬取搜狗首页的页面数据
带参数
百度翻译
动态加载的数据
爬取任意城市对应的肯德基餐厅的位置信息