Python每日一库之requests python爬虫之requests库的下载
yuyutoo 2024-12-23 14:29 2 浏览 0 评论
Python urllib库使用起来很麻烦,尤其是在进行网络爬取时。比如在处理网页验证和cookies的时候,需要编写Opener和Handler来处理。为了更方便地实现这些操作,有一个更强大的requests库。
安装requests
requests是第三方库,不是Python内置库,需要手动安装。
相关链接
- GitHub:https ://github.com/psf/requests
- PyPI:https ://pypi.org/project/requests/
- 官方文档:https ://docs.python-requests.org/en/latest/
通过 pip 安装
可以通过pip来安装requests,在命令行界面运行以下命令,完成requests库的安装:
pip install requests
requests的基本用法
下面的代码示例使用requests中的 get ()方法发送一个 get 请求。
import requests
# 发送 get 请求
r = requests.get('https://www.baidu.com')
# 检查响应类型
print(type(r))
# 检查状态码
print(r.status_code)
# 检查响应内容类型
print(type(r.text))
# 检查响应内容
print(r.text)
# 检查 cookie
print(r.cookies)
这里get()调用该方法实现与urllib库中的urlopen()一致,结果返回一个响应对象,然后分别输出响应对象类型、状态码、响应体内容类型、响应体内容、Cookies。
从运行结果可以知道,响应对象requests.models.Response的类型,响应体内容str的类型,Cookies的类型是RequestCookieJar。如果要发送其他类型的请求,可以直接调用其对应的方法:
r = requests.post('https://www.baidu.com')
r = requests.put('https://www.baidu.com')
r = requests.delete('https://www.baidu.com')
r = requests.head('https://www.baidu.com')
r = requests.options('https://www.baidu.com')
获取请求
构建一个GET请求,请求https://www.baidu.com(网站会判断如果客户端发起GET请求,会返回相应的信息)
import requests
r = requests.get('http://httpbin.org/get')
print(r.text)
输出将如下所示:
- 如果要添加请求参数,例如添加两个请求参数,其中name值为jack,age值为20。可以写成:
r = requests.get(' http://httpbin.org/get?name=jack&age=20' )
但是推荐最佳的写法如下:
import requests
data = {
'name':'jack',
'age':20,
}
r = requests.get(' http://httpbin.org/get',params=data )
print(r.text)
输出将如下所示:
- 网页返回内容的类型为 type str。如果符合 JSON 格式,可以使用json()方法将其转为字典类型,方便解析。
import requests
r = requests.get('http://httpbin.org/get' )
# str type
print(type(r.text))# 以字典形式返回
print(r.json())
print(type(r.json()))
输出:
POST 请求
发送 POST 请求
import requests
r = requests.post(' http://httpbin.org/post' )
print(r.text)
输出:
发送带参数的 POST
import requests
data = {
"name":"jack",
"age":"20"
}
r = requests.post(' http://httpbin.org/post',data=data )
print(r.text)
输出
设置请求头
可以headers通过以下方式设置你的请求:
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
'Test':'Gopher'
}
r = requests. get(' http://httpbin.org/get',headers=headers)
print(r.text)
输出:
请求响应
- 发送请求后,返回一个响应,它有很多属性,状态码、响应头、cookies、响应内容等,可以通过它的属性获取,如下:
import requests
r = requests.get('https://www.baidu.com/')
# 响应内容类型
print(type(r.text),r.text)
# 响应内容
print(type(r.content), r.content)
# 状态码
print(type(r.status_code),r.status_code)
# 响应头
print(type(r.headers),r.headers)
# Cookies
print(type(r.cookies),r.cookies )
# URL
print(type(r.url),r.url)
# 响应历史记录
print(type(r.history),r.history)
- 状态码常用于判断请求是否成功。除了 HTTP 提供的状态码之外,requests 库还提供了一个内置的状态码查询对象,称为 requests.codes。事实上,两者是等价的。一个例子如下:
import requests
r = requests.get('https://www.baidu.com/')
if r.status_code == requests.codes.ok:
print('请求成功')
else:
print('请求失败')
抓取二进制数据
图片、音频、视频文件本质上是由二进制代码组成的,所以如果要爬取它们,就必须获取它们的二进制代码。以抓取百度的站点图标(标签页上的小图标)为例:
import requests
r = requests.get('https://www.baidu.com/favicon.ico')
with open('favicon.ico','wb') as f:
f.write(r.content)
我们这里使用的open()方法,它的第一个参数是要保存的文件名(带路径),第二个参数表示要以二进制形式写入数据。运行后,可以favicon.ico在当前目录下找到命名的保存图标。同样,也可以通过这种方式获得音频和视频。
上传文件
requests可以模拟提交一些数据。如果一个网站需要上传文件,我们也可以做到。
import requests
files = {'file':open('favicon.ico','rb')}
r = requests.post('http://httpbin.org/post',files=files)
print(r.text)
处理 Cookie
用 urllib 处理 cookie 比较复杂,而用requests处理 cookie 则非常简单。
- 获取 cookie
import requests
r = requests.get(' https://www.zhihu.com' )
print(r.cookies)
for key,value in r.cookies.items():
cookie = key+"="+value
print(cookie)
可以Cookies通过调用response对象的cookies属性来获取,该对象是一个类型的对象RequestCookiesJar,然后使用该items()方法将其转换为一个元组列表,遍历并输出每个的名称和值Cookies。
- 使用 cookie 来维护登录状态。
import requests
headers = {
'Cookie':'KLBRSID=xxx|xx|xx',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
'Host':'www.zhihu.com'
}
r = requests.get('https://www.zhihu.com',headers=headers)
print(r.text)
运行后,结果中包含登录后的内容,说明获取登录状态成功。
- 也可以通过cookies参数来设置,不过这个需要RequestCookieJar对象的构造,后面的cookies需要划分,比较麻烦,但是效果是一样的。
import requests
cookies ='KLBRSID=xx|xx|xx'
jar = requests.cookies.RequestsCookieJar()
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
'Host':'www.zhihu.com'
}
for cookie in cookies.split(';'):
key,value = cookie.split('=',1)
jar.set(key,value)
r = requests.get('https://www.zhihu.com',headers=headers)
print(r.text)
会话保持
可以通过调用 get ()或 post ()和其他方法来模拟 Web 页面请求,但是这实际上等效于不同的会话,这意味着你使用两个浏览器打开不同的页面。如果第一次请求使用 post ()方法登录网站,第二次成功登录后想获取自己的个人信息,再次使用 get ()方法获取所请求的个人信息,实际上相当于打开两个浏览器,所以不能成功获取个人信息。为此,需要进行会话维护。您可以为两个请求设置相同的 Cookie,但是这非常麻烦,而且通过 Session保持会话非常容易。
improt requests
s = requests.Session()
s.get(' http://httpbin.org/cookies/set/number/123456789' )
r = s.get(' http://httpbin.org/cookies' )
print(r.text)
先通过requests打开一个session,然后get通过session发送一个request,用来设置cookies中的参数号,参数值为123456789;然后用这个发起get请求获取Cookies,然后打印获取的内容。
SSL证书验证
requests还提供了证书验证功能。发送 HTTP 请求时,它会检查 SSL 证书。我们可以使用 verify 参数来控制是否检查 SSL 证书。
- 请求HTTPS网站时,如果网站的证书不被CA机构信任,程序会报错,提示SSL证书验证错误。为此,只需将验证参数设置为 False:
import requests
response = requests.get('https://www.xxx.com',verify=False)
print(response.status_code)
- 也可以指定一个本地证书用作客户端证书,它可以是单个文件(包含密钥和证书)或包含两个文件路径的元组。
import requests
response = requests.get('https://www.xxxx.com',cert('/path/server.crt','/path/key'))
print(response.status_code)
代理设置
对于一些网站,在测试过程中多次请求后可以正常获取内容。但是一旦开始大规模频繁爬取,网站可能会弹出验证码,或者跳转到登录验证页面,甚至直接屏蔽客户端IP,导致一段时间内无法访问。为了防止这种情况,我们需要使用代理来解决这个问题,这需要代理参数。
import requests
proxies = {
'http': 'http://153.35.2.201:80',
'https': 'https://153.35.2.201:80'
}
try:
response = requests.get('http://httpbin.org/get', proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print('Error', e.args)
如果代理需要使用 HTTP Basic Auth,可以使用类似 http://user:password@host:port 的语法来设置代理。
除了基本的HTTP代理外,requests还支持SOCKS协议的代理。首先你需要安装 socks 库:
pip3 install 'requests[socks]'
import requests
proxies = {
'http':'socks5://user:password@host:port',
'https':'socks5://user:password@host:port'
}
requests.get('https://www.xxxx.com',proxies=proxies)
超时设置
当本地网络条件不好或者服务器网络响应太慢甚至没有响应时,我们可能会等待很长时间才能收到响应,甚至最后没有收到响应就报错。
为了处理这种情况,应该设置一个超时时间,即从计算机向服务器发送请求到返回响应的时间。如果请求超过了这个超时时间并且没有收到响应,就会抛出错误。这需要使用 timeout 参数来实现,以秒为单位。
import requests
r = requests.get('https://www.baidu.com',timeout=1)
print(r.status_code)
或者您可以分别指定超时时间。实际上,请求分为两个阶段:连接和读取。如果给 timeout 参数指定一个整数值,则 timeout 是两个阶段的总和;如果你想单独指定它们,你可以传入一个元组,连接超时和读取超时:
import requests
#5 秒超时连接和 30 秒读取
r = requests.get('https://www.xxxx.com',timeout=(5,30))
print(r.status_code)
网站验证
访问网站时,可能会遇到如下认证页面,此时可以使用requests自带的认证功能,通过HTTPBasicAuth类实现。
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:8080/manager/html',auth=HTTPBasicAuth('admin','123456'))
# or
r = requests.get('http://localhost:8080/manager/html',auth=('admin','123456'))
print(r.status_code)
requests也提供其他认证方式,如OAuth认证,但需要安装oauth包。
使用以下命令进行安装:
pip install requests_oauthlib
然后构造一个认证:
import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1("YOUR_APP_KEY","YOUR_APP_SECRET","USER_OAUTH_TOKEN","USER_OAUTH_TOKEN_SECRET")
requests.get(url,auth=auth)
Prepared封装请求头
有时如果需要设置请求头,需要用一个Request对象来表示。在 requests 库中,有一个类似的类,叫做 Prepared Request。
from requests import Request,Session
url = 'http://httpbin.org/post'
data = {
'name':'jack'
}
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'
}
s = Session()
req = Request('POST',url,data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)
Request这里引入,然后Request用url、data和headers参数构造一个对象。这时候就需要调用prepare_request()Session的方法将其转化为Prepared Request对象,然后调用该send()方法发送。
这样做的好处是可以使用Request把请求当成一个独立的对象,这样对于队列调度非常方便,后面会用来构造一个Request队列。
相关推荐
- 一篇文章认识JavaScript中的Web API
-
在了解webapi之前先要明白在我们声明变量三个关键字(var、let、const),我们到底该用哪一个?首先排除var,它是老牌的写法,会有很多问题,可以淘汰掉...我们在开发中建议const...
- html5大神结合js带你研究古老读心术,你的心思早被猜透
-
javascript/HTML5课题:javascript开发读心术游戏PS:大爆料!javascript解密读心术游戏背后故事知识点:读心术原理算法独家揭秘,HTML5最新选择器,...
- 纯CSS实现3个圆圈横向排列不断闪烁的Loading特效
-
这个纯CSS实现的Loading特效是一个非常简单而实用的选择,它由三个圆圈横向排列,并不断闪烁。这种动画效果很适合用于页面加载过程中,为用户提供一个愉悦的等待体验。在这个特效的设计中,使用了CSS的...
- 网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?
-
上篇文章向各位讲述了网站建设知识分享系列文章二:如何选择建站公司,今天我们来讲述下建站公司选定后,网站制作流程是怎样的,有哪些需要注意的细节性问题。选定建站公司,签订正规劳务合同后,最先开始的是设计环...
- 「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布
-
lottiejs-miniapp当前版本号:1.1.0npm地址:...
- Web开发基础之jQuery javascript web开发
-
jQuery是一个JavaScript库。jQuery极大地简化了JavaScript编程。jQuery的语法设计可以使开发更加便捷,例如操作文档对象、选择DOM元素、制作动画效果、事件处理、使用Aj...
- Web前端:JavaScript最强总结,最全面的零基础入门教程
-
JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器、面向(基于)对象、事件驱动式的网页脚本语言。JavaScript语言的前身叫作Livescript。JavaScript...
- jQuery 动画制作与特效 jquery的动画函数
-
使用show()和hide()方法在普通的javascript编程中,要实现元素的显示、隐藏通常是利用其CSS的display属性或者visibility属性。在jQuery中提供了show()和hi...
- JavaScript+css实现的登录注册页面web前端html源码
-
大家好,今天给大家介绍一款,JavaScript+css实现的登录注册页面web前端html源码(图1),布局合理。送给大家哦,获取方式在本文末尾。文本框获取焦点动画特效(图2)源码完整,需要的朋友可...
- CSS 3.0+HTML5.0制作各种网页特效
-
?1、C33实现点击图片渐渐放大特效??2、CSS3实现图片全屏背景特效?3、CSS3实现的鼠标移动到图片上不规则放大??3、jQuery+CSS3模拟苹果桌面系统??4、CSS3+jQuery照片...
- js+css实现的按钮悬停动画特效html前端源码,随机元素弹出效果
-
大家好,今天给大家介绍一款,js+css实现的按钮悬停动画特效html页面前端源码,随机元素弹出(图1)。送给大家哦,获取方式在本文末尾。鼠标经过按钮区域的时候,会随机从不同位置上弹出很多小元素,效果...
- Swiper - 免费开源、功能强大的触摸滑动js特效插件
-
简单配置就能实现手机、PC网页中滑动、焦点轮播图、tab切换和触摸导航等大部分功能。js滑动特效插件Swiper是一款纯javascript打造的滑动特效插件,主要用对移动端web开发...
- html5精选特效代码分享(收藏) html酷炫特效
-
在网页设计过程中,我们会经常用到一些HTML5特效代码,下面就是为大家整理分享的一些好看炫酷且实用的HTML5特效代码,可以放心在您的应用程序中使用。一、Canvas跟随鼠标光标动画特效演示、下载地址...
- 玩转Markdown(2)——抽象语法树的提取与操纵
-
上一篇玩转Markdown——数据的分离存储与组件的原生渲染发布,转眼已经鸽了大半年了。最近在操纵mdast生成md文件的时候,心血来潮,把玩转Markdown(2)给补上了。...
- 任由文字肆意流淌,更自由的开源 Markdown 编辑器
-
对于创作平台来说内容编辑器是十分重要的功能,强大的编辑器可以让创作者专注于创作“笔”下生花。而最好取悦程序员创作者的方法之一就是支持Markdown写作,因为大多数程序员都是用Markdown...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 一篇文章认识JavaScript中的Web API
- html5大神结合js带你研究古老读心术,你的心思早被猜透
- 纯CSS实现3个圆圈横向排列不断闪烁的Loading特效
- 网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?
- 「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布
- Web开发基础之jQuery javascript web开发
- Web前端:JavaScript最强总结,最全面的零基础入门教程
- jQuery 动画制作与特效 jquery的动画函数
- JavaScript+css实现的登录注册页面web前端html源码
- CSS 3.0+HTML5.0制作各种网页特效
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)