百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

Python常用的第三方包-Requests 5个常用python第三方库

yuyutoo 2024-12-23 14:29 2 浏览 0 评论

在现代互联网时代,进行网络请求是开发人员经常需要处理的任务之一。Python的Requests包是一个强大而易于使用的工具,可以简化网络请求的过程,并提供了丰富的功能。本文将深入介绍如何使用Python的Requests包进行网络请求,包括发送GET和POST请求、处理请求参数和响应、处理异常情况等。

1. 安装和导入Requests包

首先,我们需要安装Requests包。可以通过pip命令来安装:

pip install requests

安装完成后,我们可以在Python脚本中导入Requests包:

import requests

2. 发送GET请求

发送GET请求是获取服务器资源最常见的方式之一。使用Requests包发送GET请求非常简单,只需调用requests.get()方法,并传入目标URL即可:

import requests

response = requests.get('http://www.study.com')
print(response.text)

上述代码发送了一个GET请求到http://www.study.com,并打印了服务器返回的响应内容。

3. 发送带参数的GET请求

有时,我们需要向服务器发送带参数的GET请求。可以通过在URL中添加查询参数来实现。Requests包提供了一个参数传递的方式,可以通过字典来指定请求参数:

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('http://www.study.com', params=payload)
print(response.url)

上述代码将发送一个带有参数的GET请求到http://www.study.com,参数为{'key1': 'value1', 'key2': 'value2'}。response.url会打印出完整的请求URL,方便调试和查看。

4. 发送POST请求

除了GET请求,我们还可以使用Requests包发送POST请求。POST请求通常用于向服务器提交数据,比如表单提交等。可以使用requests.post()方法来发送POST请求:

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('http://www.study.com', data=payload)
print(response.text)

上述代码发送了一个带有参数的POST请求到http://www.study.com,参数为{'key1': 'value1', 'key2': 'value2'}。服务器返回的响应内容可以通过response.text获取。

5. 处理异常情况

在进行网络请求时,可能会遇到各种异常情况,比如网络连接失败、请求超时等。Requests包提供了异常处理机制,可以捕获并处理这些异常。下面是一个简单的异常处理示例:

import requests

try:
    response = requests.get('http://www.study.com')
    response.raise_for_status()  # 检查响应状态码
except requests.exceptions.RequestException as e:
    print('请求发生异常:', e)

上述代码中,response.raise_for_status()会检查响应的状态码,如果状态码不是2xx,则会抛出requests.exceptions.HTTPError异常。我们可以使用try-except语句来捕获并处理这个异常。

6. 处理响应内容

除了获取响应的文本内容外,Requests包还提供了其他方法来处理响应的数据,例如:

  • 获取二进制数据:可以使用response.content来获取响应的二进制数据。
  • 获取JSON数据:如果响应是JSON格式的,可以使用response.json()方法将其转换为Python字典或列表。
pythonCopy codeimport requests

response = requests.get('http://www.study.com')
print(response.content)

# 如果响应是JSON格式的
response_json = response.json()
print(response_json['key'])

7. 设置请求头

有时候,服务器需要特定的请求头才能正常处理请求。Requests包允许我们设置自定义的请求头,以便满足服务器的要求。可以使用headers参数来设置请求头:

pyimport requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('http://www.study.com', headers=headers)
print(response.text)

上述代码中,我们设置了一个常见的User-Agent请求头,以模拟使用Chrome浏览器发送请求。

8. 处理会话(Session)

在某些情况下,我们需要保持会话(Session)状态,以便在多个请求之间共享信息,例如保持登录状态。Requests包提供了Session对象来处理这种情况:

pythonCopy codeimport requests

session = requests.Session()
session.post('http://www.study.com/login', data={'username': 'user', 'password': 'pass'})

response = session.get('http://www.study.com/protected-page')
print(response.text)

上述代码中,我们首先创建了一个Session对象,然后使用该对象进行登录操作。接下来的请求会自动使用该会话保持登录状态。

9. 处理Cookies

在某些情况下,我们可能需要处理请求和响应中的Cookies。Cookies是用于在客户端和服务器之间传递信息的小型文本文件。Requests包提供了处理Cookies的功能。

我们可以使用requests.get()或requests.post()方法的cookies参数来发送请求时携带Cookies:

pythonCopy codeimport requests

cookies = {'session_id': '1234567890'}
response = requests.get('http://www.study.com', cookies=cookies)
print(response.text)

上述代码中,我们通过cookies参数将名为session_id的Cookie发送到服务器。

另外,我们也可以从响应中获取和处理Cookies:

import requests

response = requests.get('http://www.study.com')
cookies = response.cookies

for cookie in cookies:
    print(cookie.name, cookie.value)

上述代码中,我们通过response.cookies属性获取响应中的Cookies,并遍历打印每个Cookie的名称和值。

10. 设置超时

在进行网络请求时,我们可以设置超时时间,以避免长时间等待无响应的情况。Requests包允许我们设置连接超时时间和读取超时时间:

import requests

# 设置连接超时时间为5秒,读取超时时间为10秒
response = requests.get('http://www.study.com', timeout=(5, 10))
print(response.text)

上述代码中,我们将连接超时时间设置为5秒,读取超时时间设置为10秒。

11. SSL证书验证

在进行HTTPS请求时,默认情况下,Requests包会验证SSL证书的有效性。如果遇到证书验证失败的情况,可以通过verify参数来禁用证书验证:

import requests

response = requests.get('https://www.study.com', verify=False)
print(response.text)

上述代码中,我们通过将verify参数设置为False来禁用证书验证。请注意,在实际应用中,应仔细考虑安全性,并确保仅在受信任的环境中禁用证书验证。

12. 高级用法

当涉及到高级用法时,Requests包提供了一些强大的功能和选项,使得网络请求更加灵活和可定制。以下是一些常见的高级用法:

  1. 文件上传:Requests包允许你发送包含文件的请求。你可以使用files参数来指定要上传的文件。示例代码如下:
import requests

files = {'file': open('path/to/file.txt', 'rb')}
response = requests.post('http://www.study.com/upload', files=files)
print(response.text)

上述代码中,我们通过将文件对象传递给files参数,将文件上传到指定的URL。

  1. 会话维持:当需要在多个请求之间共享会话信息时(如保持登录状态),可以使用Session对象。通过使用会话,可以在同一个上下文中保持相关的请求和状态。示例代码如下:
import requests

session = requests.Session()
session.post('http://www.study.com/login', data={'username': 'user', 'password': 'pass'})

response = session.get('http://www.study.com/protected-page')
print(response.text)

上述代码中,我们创建了一个Session对象,并使用该对象进行登录操作。接下来的请求将自动使用该会话,从而保持登录状态。

  1. 身份验证:Requests包支持各种身份验证机制,如基本身份验证(Basic Authentication)和摘要身份验证(Digest Authentication)。你可以使用auth参数来指定身份验证凭据。示例代码如下:
import requests
from requests.auth import HTTPBasicAuth

response = requests.get('http://www.study.com/protected', auth=HTTPBasicAuth('username', 'password'))
print(response.text)

上述代码中,我们使用HTTPBasicAuth类来指定基本身份验证的用户名和密码。

  1. 自定义请求头:你可以通过headers参数来设置自定义的请求头,以满足服务器的要求。示例代码如下:
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('http://www.study.com', headers=headers)
print(response.text)

上述代码中,我们设置了一个常见的User-Agent请求头,以模拟使用Chrome浏览器发送请求。

  1. 请求重试:在网络请求时,可能会遇到连接超时、请求失败等情况。Requests包提供了请求重试的功能,以增加请求的稳定性。你可以使用Retry类来设置重试的次数、延迟时间等。示例代码如下:
import requests
from requests.adapters import Retry

retry_strategy = Retry(total=3, backoff_factor=0.5)
adapter = requests.adapters.HTTPAdapter(max_retries=retry_strategy)
session = requests.Session()
session.mount('http://', adapter)
session.mount('https://', adapter)

response = session.get('http://www.study.com')
print(response.text)

上述代码中,我们创建了一个Retry对象,并将其应用于会话对象。这样,在请求失败时,会自动进行重试。

这些高级用法只是Requests包提供的一小部分功能。通过深入研究Requests包的文档和探索其各种选项,你可以发现更多的强大功能,以满足各种特定的需求。

结论

本文深入介绍了使用Python的Requests包进行网络请求的各个方面,包括安装和导入Requests包、发送GET和POST请求、处理请求参数和响应、处理异常情况、处理响应内容、设置请求头、处理会话状态、处理Cookies、设置超时、SSL证书验证以及提及了一些高级用法。通过掌握这些技巧,你将能够更加灵活和高效地进行网络请求,并应对各种常见情况。希望本文能够帮助你更好地利用Requests包进行网络开发工作。

相关推荐

一篇文章认识JavaScript中的Web API

在了解webapi之前先要明白在我们声明变量三个关键字(var、let、const),我们到底该用哪一个?首先排除var,它是老牌的写法,会有很多问题,可以淘汰掉...我们在开发中建议const...

html5大神结合js带你研究古老读心术,你的心思早被猜透

javascript/HTML5课题:javascript开发读心术游戏PS:大爆料!javascript解密读心术游戏背后故事知识点:读心术原理算法独家揭秘,HTML5最新选择器,...

纯CSS实现3个圆圈横向排列不断闪烁的Loading特效

这个纯CSS实现的Loading特效是一个非常简单而实用的选择,它由三个圆圈横向排列,并不断闪烁。这种动画效果很适合用于页面加载过程中,为用户提供一个愉悦的等待体验。在这个特效的设计中,使用了CSS的...

网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?

上篇文章向各位讲述了网站建设知识分享系列文章二:如何选择建站公司,今天我们来讲述下建站公司选定后,网站制作流程是怎样的,有哪些需要注意的细节性问题。选定建站公司,签订正规劳务合同后,最先开始的是设计环...

「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布

lottiejs-miniapp当前版本号:1.1.0npm地址:...

Web开发基础之jQuery javascript web开发

jQuery是一个JavaScript库。jQuery极大地简化了JavaScript编程。jQuery的语法设计可以使开发更加便捷,例如操作文档对象、选择DOM元素、制作动画效果、事件处理、使用Aj...

Web前端:JavaScript最强总结,最全面的零基础入门教程

JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器、面向(基于)对象、事件驱动式的网页脚本语言。JavaScript语言的前身叫作Livescript。JavaScript...

jQuery 动画制作与特效 jquery的动画函数

使用show()和hide()方法在普通的javascript编程中,要实现元素的显示、隐藏通常是利用其CSS的display属性或者visibility属性。在jQuery中提供了show()和hi...

JavaScript+css实现的登录注册页面web前端html源码

大家好,今天给大家介绍一款,JavaScript+css实现的登录注册页面web前端html源码(图1),布局合理。送给大家哦,获取方式在本文末尾。文本框获取焦点动画特效(图2)源码完整,需要的朋友可...

CSS 3.0+HTML5.0制作各种网页特效

?1、C33实现点击图片渐渐放大特效??2、CSS3实现图片全屏背景特效?3、CSS3实现的鼠标移动到图片上不规则放大??3、jQuery+CSS3模拟苹果桌面系统??4、CSS3+jQuery照片...

js+css实现的按钮悬停动画特效html前端源码,随机元素弹出效果

大家好,今天给大家介绍一款,js+css实现的按钮悬停动画特效html页面前端源码,随机元素弹出(图1)。送给大家哦,获取方式在本文末尾。鼠标经过按钮区域的时候,会随机从不同位置上弹出很多小元素,效果...

Swiper - 免费开源、功能强大的触摸滑动js特效插件

简单配置就能实现手机、PC网页中滑动、焦点轮播图、tab切换和触摸导航等大部分功能。js滑动特效插件Swiper是一款纯javascript打造的滑动特效插件,主要用对移动端web开发...

html5精选特效代码分享(收藏) html酷炫特效

在网页设计过程中,我们会经常用到一些HTML5特效代码,下面就是为大家整理分享的一些好看炫酷且实用的HTML5特效代码,可以放心在您的应用程序中使用。一、Canvas跟随鼠标光标动画特效演示、下载地址...

玩转Markdown(2)——抽象语法树的提取与操纵

上一篇玩转Markdown——数据的分离存储与组件的原生渲染发布,转眼已经鸽了大半年了。最近在操纵mdast生成md文件的时候,心血来潮,把玩转Markdown(2)给补上了。...

任由文字肆意流淌,更自由的开源 Markdown 编辑器

对于创作平台来说内容编辑器是十分重要的功能,强大的编辑器可以让创作者专注于创作“笔”下生花。而最好取悦程序员创作者的方法之一就是支持Markdown写作,因为大多数程序员都是用Markdown...

取消回复欢迎 发表评论: