什么是requests模块

requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高效。在爬虫领域中占据着半壁江山的地位。

为什么要使用requests模块

因为在使用urllib模块的时候,会有诸多不便之处,总结如下:

手动处理url编码

手动处理post请求参数

处理cookie和代理操作繁琐

......

使用requests模块:

自动处理url编码

自动处理post请求参数

简化cookie和代理操作

如何使用requests模块

安装:

pip install requests

作用特点

作用:就是用来模拟浏览器上网的。

特点:简单,高效

使用流程

指定url

基于requests模块发起请求

获取响应对象中的数据值

持久化存储

无参数:

爬取搜狗首页的页面数据

带参数

百度翻译

 

 动态加载的数据

爬取任意城市对应的肯德基餐厅的位置信息

 


本文转载:CSDN博客