百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

python爬虫之Requests库,及基本使用

yuyutoo 2024-12-23 14:28 2 浏览 0 评论

一、Requests简介

urllib库参考:Python 爬虫之urllib库

Requests是用python语言基于urllib编写的,该模块主要用来发 送 HTTP 请求,requests 模块比 urllib 模块更简洁,是学习 python 爬虫的较好的http请求模块。

不是 python 的内置库,如果没有安装,可以安装先。

pip install requests


二、各种请求方式

requests里提供个各种请求方式,每次调用 requests 请求之后,会返回一个 response 对象,该对象包含了具体的响应信息。响应信息如下:

  • 属性或方法 :说明
  • apparent_encoding :编码方式
  • close():关闭与服务器的连接
  • content:返回响应的内容,以字节为单位
  • cookies:返回一个 CookieJar 对象,包含了从服务器发回的 cookie
  • elapsed :返回一个 timedelta 对象,包含了从发送请求到响应到达之间经过的时间量,可以用于测试响应速度。比如 r.elapsed.microseconds 表示响应到达需要多少微秒
  • encoding:解码 r.text 的编码方式
  • headers :返回响应头,字典格式
  • history :返回包含请求历史的响应对象列表(url)
  • is_permanent_redirect :如果响应是永久重定向的 url,则返回 True,否则返回 False
  • is_redirect:如果响应被重定向,则返回 True,否则返回 False
  • iter_content():迭代响应
  • iter_lines():迭代响应的行
  • json():返回结果的 JSON 对象 (结果需要以 JSON 格式编写的,否则会引发错误)
  • links:返回响应的解析头链接
  • next:返回重定向链中下一个请求的 PreparedRequest 对象
  • ok:检查 "status_code" 的值,如果小于400,则返回 True,如果不小于 400,则返回 False
  • raise_for_status() : 如果发生错误,方法返回一个 HTTPError 对象
  • reason:响应状态的描述,比如 "Not Found" 或 "OK"
  • request:返回请求此响应的请求对象
  • status_code:返回 http 的状态码,比如 404 和 200(200 是 OK,404 是 Not Found)
  • text:返回响应的内容,unicode 类型数据
  • url:返回响应的 URL


1、基本Get 请求

import requests

x = requests.get('http://www.baidu.com')
print(x.status_code)
print(x.reason)
print(x.apparent_encoding)
print(x.text)

执行结果:

200                                                                                                                                                                                                      
OK                                                                              
utf-8                                                                           
<!DOCTYPE html>                                                                 
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8>.....

请求 json 数据文件,返回 json 内容:

通过params参数传递一个字典内容,从而直接构造url

import requests
params = {
    'name': 'zhangsan',
    'age': 100
}
x = requests.get('http://httpbin.org/get',params=params)
print(x.url)
print(x.json())

执行结果:

http://httpbin.org/get?name=zhangsan&age=100                                                                                                                                                             
{'args': {'age': '100', 'name': 'zhangsan'}, 'headers': {'...

抓取二进制数据

在上面的例子中,我们抓取的是网站的一个页面,实际上它返回的是一个 HTML 文档。如果想抓取图片、音频、视频等文件,需要用到content,这样获取的数据是二进制数据。

如抓取百度logo图片:

import requests

x = requests.get('https://www.baidu.com/img/flexible/logo/pc/result.png')

print(x.content)

执行结果:

b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x00\xca\x00\

得到的是一串二进制的乱码,如果想得到图片,直接将其保存到本地即可。

import requests

x = requests.get('https://www.baidu.com/img/flexible/logo/pc/result.png')

with open('baidulogo.png','wb') as f:
    f.write(x.content)

执行后,在本地目录,可以看到图片已经下载

添加headers

有些网页,必须需要headers才能访问。这时只需要将参赛传到 headers参数中即可,如下所示:

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}

x = requests.get('https://baidu.com/', headers=headers)

print(x.text)

2、基本POST请求

在爬虫中,另外一个比较常见的请求方式就是 POST 请求,跟GET用法差不多。

post() 方法可以发送 POST 请求到指定 url,一般格式如下:

requests.post(url, data={key: value}, json={key: value}, args)
  • url 请求 url。
  • data 参数为要发送到指定 url 的字典、元组列表、字节或文件对象。
  • json 参数为要发送到指定 url 的 JSON 对象。
  • args 为其他参数,比如 cookies、headers、verify等。
import requests

data = {'name': 'zhangsan', 'age': '100'}
x = requests.post("http://httpbin.org/post", data=data)
print(x.text)

执行结果:

{                                                                                                                                                                                                        
  "args": {},                                                                   
  "data": "",                                                                   
  "files": {},                                                                  
  "form": {                                                                     
    "age": "100",                                                                                                                                                                                        
    "name": "zhangsan"                                                          
  },                                                                                                                                                                                                     
  "headers": {                                                                                                                                                                                           
    "Accept": "*/*",                                                                                                                                                                                     
    "Accept-Encoding": "gzip, deflate",                                                                                                                                                                  
    "Content-Length": "21",
    ....

3、其他请求

其他请求可以自行测试,差不多用法。

r = requests.put('https://httpbin.org/put', data = {'key':'value'})

r = requests.delete('https://httpbin.org/delete')

r = requests.head('https://httpbin.org/get')

r = requests.options('https://httpbin.org/get')

三、requests 方法

requests 方法如下表:

  • 方法:描述
  • delete(url, args):发送 DELETE 请求到指定 url
  • get(url, params, args):发送 GET 请求到指定 url
  • head(url, args):发送 HEAD 请求到指定 url
  • patch(url, data, args):发送 PATCH 请求到指定 url
  • post(url, data, json, args):发送 POST 请求到指定 url
  • put(url, data, args):发送 PUT 请求到指定 url
  • request(method, url, args):向指定的 url 发送指定的请求方法
import requests

# 发送请求
x = requests.request('get', 'https://httpbin.org/')

# 返回网页内容
print(x.status_code)

执行结果:

200

设置请求头:

# 导入 requests 包
import requests

 
kw = {'s':'python 教程'}

# 设置请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
 
# params 接收一个字典或者字符串的查询参数,字典类型自动转换为url编码,不需要urlencode()
response = requests.get("https://httpbin.org", params = kw, headers = headers)

# 查看响应状态码
print (response.status_code)

# 查看响应头部字符编码
print (response.encoding)

# 查看完整url地址
print (response.url)

# 查看响应内容,response.text 返回的是Unicode格式的数据
print(response.text)

执行结果:

 200                                                                                                                                                                                                      
 utf-8                                                                           
 https://httpbin.org/?s=python+%E6%95%99%E7%A8%8B                                
 <!DOCTYPE html>                                                                 
 <html lang="en">                                                                
                                                                                 
 <head>                                                                          
     <meta charset="UTF-8">                                                      
     <title>httpbin.org</title>                                                  
     <link href="https://fonts.googleapis.com/css?family=Open+Sans:400,700|Source+Code+Pro:300,600|Titillium+Web:400,600,700"
        rel="stylesheet"> 
        ....


四、requests其他高级用法

1、文件上传

实现方法和其他参数类似,也是构造一个字典然后通过files参数传递。

import requests
files= {"files":open("git.jpeg","rb")}
response = requests.post("http://httpbin.org/post",files=files)
print(response.text)

2、获取cookie

import requests

response = requests.get("http://www.baidu.com")
print(response.cookies)

for key,value in response.cookies.items():
    print(key+"="+value)

3、会话维持

cookie的一个作用就是可以用于模拟登陆,做会话维持。

import requests
s = requests.Session()
s.get("http://httpbin.org/cookies/set/number/123456")
response = s.get("http://httpbin.org/cookies")
print(response.text)

4、证书验证

现在的很多网站都是https的方式访问,所以这个时候就涉及到证书的问题,有时遇到:requests.exceptions.SSLError: HTTPSConnectionPool 错误。

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get("https://httpbin.org",verify=False)
print(response.status_code)

当然,我们也可以指定一个本地证书用作客户端证书,这可以是单个文件(包含密钥和证书)或一个包含两个文件路径的元组:

import requests

response = requests.get('https://httpbin.org/', cert=('/path/server.crt', '/path/server.key'))
print(response.status_code)

上面的代码是演示实例,我们需要有 crt 和 key 文件,并且指定它们的路径。另外注意,本地私有证书的 key 必须是解密状态,加密状态的 key是不支持的。

5、代理设置

import requests

from requests.auth import HTTPBasicAuth

response = requests.get("http://192.168.152.100:9001/",auth=HTTPBasicAuth("user","123"))
print(response.status_code)

还有一种方式

import requests
response = requests.get("http://192.168.152.100:9001/",auth=("user","123"))
print(response.status_code)

6、超时设置

在某些网络情况不好的情况下,服务器可能很久才会响应甚至无法响应,此时就需要设置超时来避免无限的等待。在 requests 中,我们可以通过 timeout 参数来设置超时时间,这个时间是发出请求到服务器返回的整个过程所用的时间,即连接和读取两个过程,单位为秒。当然,也可以分别设置连接和读取各自的超时时间:

import requests

r = requests.get('https://httpbin.org/get', timeout=1)
print(r.status_code)
r = requests.get('https://httpbin.org/get', timeout=(5, 30))

当然,如果不设置 timeout 或者将其设置为 None ,则表示不会进行超时处理,即会永久等待下去。

相关推荐

一篇文章认识JavaScript中的Web API

在了解webapi之前先要明白在我们声明变量三个关键字(var、let、const),我们到底该用哪一个?首先排除var,它是老牌的写法,会有很多问题,可以淘汰掉...我们在开发中建议const...

html5大神结合js带你研究古老读心术,你的心思早被猜透

javascript/HTML5课题:javascript开发读心术游戏PS:大爆料!javascript解密读心术游戏背后故事知识点:读心术原理算法独家揭秘,HTML5最新选择器,...

纯CSS实现3个圆圈横向排列不断闪烁的Loading特效

这个纯CSS实现的Loading特效是一个非常简单而实用的选择,它由三个圆圈横向排列,并不断闪烁。这种动画效果很适合用于页面加载过程中,为用户提供一个愉悦的等待体验。在这个特效的设计中,使用了CSS的...

网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?

上篇文章向各位讲述了网站建设知识分享系列文章二:如何选择建站公司,今天我们来讲述下建站公司选定后,网站制作流程是怎样的,有哪些需要注意的细节性问题。选定建站公司,签订正规劳务合同后,最先开始的是设计环...

「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布

lottiejs-miniapp当前版本号:1.1.0npm地址:...

Web开发基础之jQuery javascript web开发

jQuery是一个JavaScript库。jQuery极大地简化了JavaScript编程。jQuery的语法设计可以使开发更加便捷,例如操作文档对象、选择DOM元素、制作动画效果、事件处理、使用Aj...

Web前端:JavaScript最强总结,最全面的零基础入门教程

JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器、面向(基于)对象、事件驱动式的网页脚本语言。JavaScript语言的前身叫作Livescript。JavaScript...

jQuery 动画制作与特效 jquery的动画函数

使用show()和hide()方法在普通的javascript编程中,要实现元素的显示、隐藏通常是利用其CSS的display属性或者visibility属性。在jQuery中提供了show()和hi...

JavaScript+css实现的登录注册页面web前端html源码

大家好,今天给大家介绍一款,JavaScript+css实现的登录注册页面web前端html源码(图1),布局合理。送给大家哦,获取方式在本文末尾。文本框获取焦点动画特效(图2)源码完整,需要的朋友可...

CSS 3.0+HTML5.0制作各种网页特效

?1、C33实现点击图片渐渐放大特效??2、CSS3实现图片全屏背景特效?3、CSS3实现的鼠标移动到图片上不规则放大??3、jQuery+CSS3模拟苹果桌面系统??4、CSS3+jQuery照片...

js+css实现的按钮悬停动画特效html前端源码,随机元素弹出效果

大家好,今天给大家介绍一款,js+css实现的按钮悬停动画特效html页面前端源码,随机元素弹出(图1)。送给大家哦,获取方式在本文末尾。鼠标经过按钮区域的时候,会随机从不同位置上弹出很多小元素,效果...

Swiper - 免费开源、功能强大的触摸滑动js特效插件

简单配置就能实现手机、PC网页中滑动、焦点轮播图、tab切换和触摸导航等大部分功能。js滑动特效插件Swiper是一款纯javascript打造的滑动特效插件,主要用对移动端web开发...

html5精选特效代码分享(收藏) html酷炫特效

在网页设计过程中,我们会经常用到一些HTML5特效代码,下面就是为大家整理分享的一些好看炫酷且实用的HTML5特效代码,可以放心在您的应用程序中使用。一、Canvas跟随鼠标光标动画特效演示、下载地址...

玩转Markdown(2)——抽象语法树的提取与操纵

上一篇玩转Markdown——数据的分离存储与组件的原生渲染发布,转眼已经鸽了大半年了。最近在操纵mdast生成md文件的时候,心血来潮,把玩转Markdown(2)给补上了。...

任由文字肆意流淌,更自由的开源 Markdown 编辑器

对于创作平台来说内容编辑器是十分重要的功能,强大的编辑器可以让创作者专注于创作“笔”下生花。而最好取悦程序员创作者的方法之一就是支持Markdown写作,因为大多数程序员都是用Markdown...

取消回复欢迎 发表评论: