百度360必应搜狗淘宝本站头条
vba高级教程svn连接scheduledtaskmybatis plus结构体数组
当前位置：网站首页 > 编程网 > 正文

全网最全的python网络爬虫常用技术

yuyutoo 2024-12-23 14:28 14 浏览 0 评论

前言

urllib模块

urllib库是python中自带的模块，也是一个最基本的网络请求库，该模块提供了一个urlopen()方法，通过该方法指定URL发送网络请求来获取数据。

正文

urllib 是一个收集了多个涉及 URL 的模块的包

urllib.request 打开和读取 URL

三行代码即可爬取百度首页源代码：

import urllib.request
# 打开指定需要爬取的网页
response=urllib.request.urlopen('http://www.baidu.com')
# 或者是 
# from urllib import request
# response = request.urlopen('http://www.baidu.com')

# 打印网页源代码
print(response.read().decode())

加入decode()是为了避免出现下图中十六进制内容

加入decode()进行解码后

下面三种本篇将不做详述

  • urllib.error 包含 urllib.request 抛出的异常
  • urllib.parse 用于解析 URL
  • urllib.robotparser 用于解析 robots.txt 文件

requests模块

requests模块是python中实现HTTP请求的一种方式，是第三方模块，该模块在实现HTTP请求时要比urllib模块简化很多，操作更加人性化。
以GET请求为例：

import requests
response = requests.get('http://www.baidu.com/')
print('状态码：', response.status_code)
print('请求地址：', response.url)
print('头部信息：', response.headers)
print('cookie信息：', response.cookies)
# print('文本源码：', response.text)
# print('字节流源码：', response.content)

输出结果如下：

状态码： 200
请求地址： http://www.baidu.com/
头部信息： {'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Sun, 10 May 2020 02:43:33 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:23 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
cookie信息： <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

这里讲解一下response.text和 response.content的区别

  • response.content是直接从网络上面抓取的数据,没有经过任何解码,所以是一个 bytes类型
  • response.text是将response.content进行解码的字符串,解码需要指定一个编码方式, requests会根据自己的猜测来判断编码的方式,所以有时候可能会猜测错误,就会导致解码产生乱码,这时候就应该使用 response.content.decode(‘utf-8’)进行手动解码

以POST请求为例

import requests
data={'word':'hello'}
response = requests.post('http://www.baidu.com',data=data)
print(response.content)

请求headers处理

当爬取页面由于该网页为防止恶意采集信息而使用反爬虫设置，从而拒绝用户访问，我们可以通过模拟浏览器的头部信息来进行访问，这样就能解决反爬虫设置的问题。

通过浏览器进入指定网页，右击鼠标，选中“检查”，选择“Network”，刷新页面后选择第一条信息，右侧消息头面板将显示下图中请求头部信息

例如：

import requests
url = 'https://www.bilibili.com/'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content.decode())

网络超时

在访问一个页面，如果该页面长时间未响应，系统就会判断该网页超时，所以无法打开网页。
例如：

import requests

url = 'http://www.baidu.com'
# 循环发送请求50次
for a in range(0, 50):
    try:
   		# timeout数值可根据用户当前网速，自行设置
        response = requests.get(url, timeout=0.03) # 设置超时为0.03
        print(response.status_code)
    except Exception as e:
        print('异常'+str(e)) # 打印异常信息

部分输出结果如下：

代理服务

设置代理IP可以解决不久前可以爬取的网页现在无法爬取了，然后报错——由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败的问题。

例如：

import requests

# 设置代理IP
proxy = {'http': '117.45.139.139:9006',
         'https': '121.36.210.88:8080'
         }
# 发送请求
url = 'https://www.baidu.com'
response = requests.get(url, proxies=proxy)
# 也就是说如果想取文本数据可以通过response.text
# 如果想取图片，文件，则可以通过 response.content
# 以字节流的形式打印网页源代码,bytes类型
print(response.content.decode())
# 以文本的形式打印网页源代码，为str类型
print(response.text) # 默认”iso-8859-1”编码，服务器不指定的话是根据网页的响应来猜测编码。

Beautiful Soup模块

Beautiful Soup模块是一个用于HTML和XML文件中提取数据的python库。Beautiful Soup模块自动将输入的文档转换为Unicode编码，输出文档转换为UTF-8编码，你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了，然后，仅仅需要说明一下原始编码方式就可以了。

例如：

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
# 创建对象
soup = BeautifulSoup(html_doc, features='lxml')
# 或者创建对象打开需要解析的html文件
# soup = BeautifulSoup(open('index.html'), features='lxml')
print('源代码为：', soup)# 打印解析的HTML代码

运行结果如下：

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</body></html>

用Beautiful Soup爬取百度首页标题

from bs4 import BeautifulSoup
import requests

response = requests.get('http://news.baidu.com')
soup = BeautifulSoup(response.text, features='lxml')
print(soup.find('title').text)

运行结果如下：

百度新闻——海量中文资讯平台

最后希望大家能够喜欢，再给小编一个关注！

相关推荐

Mysql和Oracle实现序列自增（oracle创建序列的sql）

Mysql和Oracle实现序列自增/*ORACLE设置自增序列oracle本身不支持如mysql的AUTO_INCREMENT自增方式，我们可以用序列加触发器的形式实现，假如有一个表T_WORKM...

关于Oracle数据库12c 新特性总结（oracle数据库19c与12c）

概述今天主要简单介绍一下Oracle12c的一些新特性，仅供参考。参考：http://docs.oracle.com/database/121/NEWFT/chapter12102.htm#NEWFT...

MySQL CREATE TABLE 简单设计模板交流

推荐用MySQL8.0(2018/4/19发布,开发者说同比5.7快2倍)或同类型以上版本....

mysql学习9:创建数据库（mysql5.5创建数据库）

前言：我也是在学习过程中，不对的地方请谅解showdatabases;#查看数据库表createdatabasename...

MySQL面试题-CREATE TABLE AS 与CREATE TABLE LIKE的区别

执行"CREATETABLE新表ASSELECT*FROM原表;"后，新表与原表的字段一致，但主键、索引不会复制到新表，会把原表的表记录复制到新表。...

Nike Dunk High Volt 和 Bright Spruce 预计将于 12 月推出

在街上看到的PandaDunk的超载可能让一些球鞋迷们望而却步，但Dunk的浪潮仍然强劲，看不到尽头。我们看到的很多版本都是为女性和儿童制作的，这种新配色为后者引入了一种令人耳目一新的新选择，而...

美国多功能舰载雷达及美国海军舰载多功能雷达系统技术介绍

多功能雷达AN/SPY-1的特性和技术能力，该雷达已经在美国海军服役了30多年，其修改-AN/SPY-1A、AN/SPY-1B（V）、AN/SPY-1D、AN/SPY-1D（V），以及雷神...

汽车音响怎么玩，安装技术知识（汽车音响怎么玩,安装技术知识视频）

全面分析汽车音响使用或安装技术常识一:主机是大多数人最熟习的音响器材，有关主机的各种性能及规格，也是耳熟能详的事，以下是一些在使用或安装时，比较需要注意的事项：LOUDNESS：几年前的主机，此按...

【推荐】ProAc Response系列扬声器逐个看

有考牌(公认好声音)扬声器之称ProAcTablette小音箱，相信不少音响发烧友都曾经，或者现在依然持有，正当大家逐渐掌握Tablette的摆位设定与器材配搭之后，下一步就会考虑升级至表现更全...

#本站首晒# 漂洋过海来看你 — BLACK&amp;DECKER 百得 BDH2000L无绳吸尘器 开箱

作者：初吻给了烟sco混迹张大妈时日不短了，手没少剁。家里有了汪星人，吸尘器使用频率相当高，偶尔零星打扫用卧式的实在麻烦（汪星人：你这分明是找借口，我掉毛是满屋子都有，铲屎君都是用卧式满屋子吸的，你...

专题|一个品牌一件产品(英国篇)之Quested(罗杰之声)

Quested(罗杰之声)代表产品：Q212FS品牌介绍Quested(罗杰之声)是录音监听领域的传奇品牌，由英国录音师RogerQuested于1985年创立。在成立Quested之前，Roger...

常用半导体中英对照表(建议收藏)（半导体英文术语）

作为一个源自国外的技术，半导体产业涉及许多英文术语。加之从业者很多都有海外经历或习惯于用英文表达相关技术和工艺节点，这就导致许多英文术语翻译成中文后，仍有不少人照应不上或不知如何翻译。为此，我们整理了...

Fyne Audio F502SP 2.5音路低音反射式落地音箱评测

FyneAudio的F500系列，有新成员了！不过，新成员不是新的款式，却是根据原有款式提出特别版。特别版产品在原有型号后标注了SP字样，意思是SpecialProduction。Fyne一共推出...

有哪些免费的内存数据库(In-Memory Database)

以下是一些常见的免费的内存数据库：1.Redis：Redis是一个开源的内存数据库，它支持多种数据结构，如字符串、哈希表、列表、集合和有序集合。Redis提供了快速的读写操作，并且支持持久化数据到磁...

RazorSQL Mac版(SQL数据库查询工具)

RazorSQLMac特别版是一款看似简单实则功能非常出色的SQL数据库查询、编辑、浏览和管理工具。RazorSQLformac特别版可以帮你管理多个数据库，支持主流的30多种数据库，包括Ca...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表