百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

Python爬虫入门,5分钟了解思路,这是我见过最简单的基础教学

yuyutoo 2024-12-23 14:28 1 浏览 0 评论

如果学会了python的基本语法,我认为入门爬虫是很容易的。

1:什么是爬虫

爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序。

从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用。

非诚勿扰:正在学习python的小伙伴或者打算学习的,可以私信小编“学习”领取资料!

2:入门爬虫的干货

2.1: 爬虫的基本思路

  • 通过URL或者文件获取网页,
  • 分析要爬取的目标内容所在的位置
  • 用元素选择器快速提取(Raw) 目标内容
  • 处理提取出来的目标内容 ( 通常整理合成一个 Json)
  • 存储处理好的目标内容 (比如放到 MongoDB 之类的数据库,或者写进文件里。)

robots协议:网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束

爬虫的用途:

1、12306抢票

2、短信轰炸

3、网络投票

4、监控数据

5、下载图片、小说、视频、音乐等

Http和Https:

发送请求,获取响应的过程其实就是发送Http或者Https请求和响应的过程。

HTTP

超文本传输协议

默认端口号:80

HTTPS

HTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协议

默认端口号:443

作用:在传输过程中对数据进行加密,防止被窜改

区别:http因不需要加密,所以性能更高,但安全性差。https安全性高,但是占用服务器资源

但是Https是未来的主流,比如小程序、ios、android客户端的接口都需要Https接口支持

Http请求报文:

常见请求头:

Http状态码

常见的 HTTP 状态码:

200 - 请求成功

301 - 资源(网页等)被永久转移到其它 URL

404 - 请求的资源(网页等)不存在

500 - 内部服务器错误

Chrome浏览器请求分析

分析流程图:

以上都是爬虫的预备知识,掌握了之后就可以写代码去爬取我们想要爬的网站了。Python提供了许多网络请求的库,比如Requests、urllib等,这里只说一下requests库

Requests库

安装:pip(3) install requests

基本使用:

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com'

# 发送 GET 请求获取响应

response = requests.get(url)

# 获取响应的 html 内容

html = response.text

response常用属性:

  • response.text 返回响应内容,响应内容为 str 类型
  • respones.content 返回响应内容,响应内容为 bytes 类型
  • response.status_code 返回响应状态码
  • response.request.headers 返回请求头
  • response.headers 返回响应头
  • response.cookies 返回响应的 RequestsCookieJar 对象

# 获取字节数据

content = response.content

# 转换成字符串类型

html = content.decode('utf-8')

自定义请求头

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com'

# 定义自定义请求头

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

}

# 发送自定义请求头

response = requests.get(url,headers=headers)

# 获取响应的 html 内容

html = response.text

发送Get请求

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com/s'

# 定义自定义请求头

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

}

# 定义 GET 请求参数

params = {

"kw":"hello"

}

# 使用 GET 请求参数发送请求

response = requests.get(url,headers=headers,params=params)

# 获取响应的 html 内容

html = response.text

发送POST请求

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com'

# 定义自定义请求头

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

}

# 定义post请求参数

data = {

"kw":"hello"

}

# 使用 POST 请求参数发送请求

response = requests.post(url,headers=headers,data=data)

# 获取响应的 html 内容

html = response.text

使用代理

为什么使用代理:1、让服务器以为请求是从多个客户端发出的。2、防止暴露我们的真实地址

使用方法

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com'

# 定义自定义请求头

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

}

# 定义 代理服务器

proxies = {

"http":"http://IP地址:端口号",

"https":"https://IP地址:端口号"

}

# 使用 POST 请求参数发送请求

response = requests.get(url,headers=headers,proxies=proxies)

# 获取响应的 html 内容

html = response.text

请求中携带cookie

作用:有些网站需要登录,这时候cookie就是记录了你的用户信息

方式:

  • 直接在自定义请求头中携带
  • 通过请求参数携带cookie

# 导入模块

import requests

# 定义请求地址

url = 'http://www.baidu.com'

# 定义自定义请求头

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

# 方式一:直接在请求头中携带Cookie内容

"Cookie": "Cookie值"

}

# 方式二:定义 cookies 值

cookies = {

"xx":"yy"

}

# 使用 POST 请求参数发送请求

response = requests.get(url,headers=headers,cookies=cookies)

# 获取响应的 html 内容

html = response.text

数据提取

作用:从爬虫获取的数据中提取出我们想要的数据方式:

  • json模块提取
  • xpath提取
  • 正则提取
  • beautifulsoup

json

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式

  • json.loads json字符串 转 Python数据类型
  • json.dumps Python数据类型 转 json字符串
  • json.load json文件 转 Python数据类型
  • json.dump Python数据类型 转 json文件
  • ensure_ascii=False 实现让中文写入的时候保持为中文
  • indent=空格数 通过空格的数量进行缩紧

xpath

XPath 全称: XML Path Language,是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。安装:pip(3) install lxml

常用规则

正则

Python中通过正则表达对字符串进行匹配时,可以使用re模块

# 导入re模块

import re

# 使用match方法进行匹配操作

result = re.match(正则表达式,要匹配的字符串)

# 如果上一步匹配到数据的话,可以使用group方法来提取数据

result.group()

常见语法

结尾

最后多说一句,小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并私信小编:“学习”即可领取。

相关推荐

一篇文章认识JavaScript中的Web API

在了解webapi之前先要明白在我们声明变量三个关键字(var、let、const),我们到底该用哪一个?首先排除var,它是老牌的写法,会有很多问题,可以淘汰掉...我们在开发中建议const...

html5大神结合js带你研究古老读心术,你的心思早被猜透

javascript/HTML5课题:javascript开发读心术游戏PS:大爆料!javascript解密读心术游戏背后故事知识点:读心术原理算法独家揭秘,HTML5最新选择器,...

纯CSS实现3个圆圈横向排列不断闪烁的Loading特效

这个纯CSS实现的Loading特效是一个非常简单而实用的选择,它由三个圆圈横向排列,并不断闪烁。这种动画效果很适合用于页面加载过程中,为用户提供一个愉悦的等待体验。在这个特效的设计中,使用了CSS的...

网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?

上篇文章向各位讲述了网站建设知识分享系列文章二:如何选择建站公司,今天我们来讲述下建站公司选定后,网站制作流程是怎样的,有哪些需要注意的细节性问题。选定建站公司,签订正规劳务合同后,最先开始的是设计环...

「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布

lottiejs-miniapp当前版本号:1.1.0npm地址:...

Web开发基础之jQuery javascript web开发

jQuery是一个JavaScript库。jQuery极大地简化了JavaScript编程。jQuery的语法设计可以使开发更加便捷,例如操作文档对象、选择DOM元素、制作动画效果、事件处理、使用Aj...

Web前端:JavaScript最强总结,最全面的零基础入门教程

JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器、面向(基于)对象、事件驱动式的网页脚本语言。JavaScript语言的前身叫作Livescript。JavaScript...

jQuery 动画制作与特效 jquery的动画函数

使用show()和hide()方法在普通的javascript编程中,要实现元素的显示、隐藏通常是利用其CSS的display属性或者visibility属性。在jQuery中提供了show()和hi...

JavaScript+css实现的登录注册页面web前端html源码

大家好,今天给大家介绍一款,JavaScript+css实现的登录注册页面web前端html源码(图1),布局合理。送给大家哦,获取方式在本文末尾。文本框获取焦点动画特效(图2)源码完整,需要的朋友可...

CSS 3.0+HTML5.0制作各种网页特效

?1、C33实现点击图片渐渐放大特效??2、CSS3实现图片全屏背景特效?3、CSS3实现的鼠标移动到图片上不规则放大??3、jQuery+CSS3模拟苹果桌面系统??4、CSS3+jQuery照片...

js+css实现的按钮悬停动画特效html前端源码,随机元素弹出效果

大家好,今天给大家介绍一款,js+css实现的按钮悬停动画特效html页面前端源码,随机元素弹出(图1)。送给大家哦,获取方式在本文末尾。鼠标经过按钮区域的时候,会随机从不同位置上弹出很多小元素,效果...

Swiper - 免费开源、功能强大的触摸滑动js特效插件

简单配置就能实现手机、PC网页中滑动、焦点轮播图、tab切换和触摸导航等大部分功能。js滑动特效插件Swiper是一款纯javascript打造的滑动特效插件,主要用对移动端web开发...

html5精选特效代码分享(收藏) html酷炫特效

在网页设计过程中,我们会经常用到一些HTML5特效代码,下面就是为大家整理分享的一些好看炫酷且实用的HTML5特效代码,可以放心在您的应用程序中使用。一、Canvas跟随鼠标光标动画特效演示、下载地址...

玩转Markdown(2)——抽象语法树的提取与操纵

上一篇玩转Markdown——数据的分离存储与组件的原生渲染发布,转眼已经鸽了大半年了。最近在操纵mdast生成md文件的时候,心血来潮,把玩转Markdown(2)给补上了。...

任由文字肆意流淌,更自由的开源 Markdown 编辑器

对于创作平台来说内容编辑器是十分重要的功能,强大的编辑器可以让创作者专注于创作“笔”下生花。而最好取悦程序员创作者的方法之一就是支持Markdown写作,因为大多数程序员都是用Markdown...

取消回复欢迎 发表评论: