简单说说爬虫这个神奇的工具 “爬虫”
yuyutoo 2024-12-23 14:28 1 浏览 0 评论
1、什么是爬虫
爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用。
2、入门爬虫的干货
2.1: 爬虫的基本思路
· 通过URL或者文件获取网页,
· 分析要爬取的目标内容所在的位置
· 用元素选择器快速提取(Raw) 目标内容
· 处理提取出来的目标内容 ( 通常整理合成一个 Json)
· 存储处理好的目标内容 (比如放到 MongoDB 之类的数据库,或者写进文件里。)
robots协议:
网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束
爬虫的用途:
1、12306抢票
2、短信轰炸
3、网络投票
4、监控数据
5、下载图片、小说、视频、音乐等
发送请求,获取响应的过程其实就是发送Http或者Https请求和响应的过程。
HTTP
超文本传输协议
默认端口号:80
HTTPS
HTTP + SSL(安全套接字层),即带有安全套接字层的超本文传输协议
默认端口号:443
作用:在传输过程中对数据进行加密,防止被窜改
区别:http因不需要加密,所以性能更高,但安全性差。https安全性高,但是占用服务器资源
但是Https是未来的主流,比如小程序、ios、android客户端的接口都需要Https接口支持
户端的接口都需要Https接口支持
Http请求报文:
常见请求头:
Http状态码
常见的 HTTP 状态码:
200 - 请求成功
301 - 资源(网页等)被永久转移到其它 URL
404 - 请求的资源(网页等)不存在
500 - 内部服务器错误
Chrome浏览器请求分析
分析流程图
以上都是爬虫的预备知识,掌握了之后就可以写代码去爬取我们想要爬的网站了。Python提供了许多网络请求的库,比如Requests、urllib等,这里只说一下requests库
Requests库
安装:pip(3) install requests
基本使用:
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 发送 GET 请求获取响应response = requests.get(url)# 获取响应的 html 内容html = response
response常用属性:
常用属性:
· response.text 返回响应内容,响应内容为 str 类型
· respones.content 返回响应内容,响应内容为 bytes 类型
· response.status_code 返回响应状态码
· response.request.headers 返回请求头
· response.headers 返回响应头
· response.cookies 返回响应的 RequestsCookieJar 对象
# 获取字节数据content = response.content# 转换成字符串类型html = content.decod
自定义请求头
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 定义自定义请求头headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}# 发送自定义请求头response = requests.get(url,headers=headers)# 获取响应的 html 内容html
发送Get请求
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com/s'# 定义自定义请求头headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}# 定义 GET 请求参数params = { "kw":"hello"}# 使用 GET 请求参数发送请求response = requests.get(url,headers=headers,params=params)# 获取响应的 html 内容
发送POST请求
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 定义自定义请求头headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}# 定义post请求参数data = { "kw":"hello"}# 使用 POST 请求参数发送请求response = requests.post(url,headers=headers,data=data)# 获取响应的 ht
使用代理
为什么使用代理:1、让服务器以为请求是从多个客户端发出的。2、防止暴露我们的真实地址
使用方法
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 定义自定义请求头headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}# 定义 代理服务器proxies = { "http":"http://IP地址:端口号", "https":"https://IP地址:端口号"}# 使用 POST 请求参数发送请求response = requests.get(url,headers=headers,proxies=proxies)# 获取响应的 html 内容html = response.text
请求中携带cookie
作用:有些网站需要登录,这时候cookie就是记录了你的用户信息
方式:
· 直接在自定义请求头中携带
· 通过请求参数携带cookie
# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 定义自定义请求头headers = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36" # 方式一:直接在请求头中携带Cookie内容 "Cookie": "Cookie值"}# 方式二:定义 cookies 值cookies = { "xx":"yy"}# 使用 POST 请求参数发送请求response = requests.get(url,headers=headers,cookies=cookies)# 获取响应的 html 内容html = response.te
数据提取
作用:从爬虫获取的数据中提取出我们想要的数据
方式:
式:
· json模块提取
· xpath提取
· 正则提取
json
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式
是一种轻量级的数据交换格式
· json.loads json字符串 转 Python数据类型
· json.dumps Python数据类型 转 json字符串
· json.loa
· json.dump Python数据类型 转 json文件
ensure_ascii=False 实现让中文写入的时候保持为中文
indent=空格数 通过空格的数量进行缩紧
XPath 全称: XML Path Language,是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
安装:pip(3) install lxml
正则
Python中通过正则表达对字符串进行匹配是,可以使用re模块
# 导入re模块 import re # 使用match方法进行匹配操作 result = re.match(正则表达式,要匹配的字符串) # 如果上一步匹配到数据的话,可以使用group方法来提取数据 result.group()
常见语法
相关推荐
- 一篇文章认识JavaScript中的Web API
-
在了解webapi之前先要明白在我们声明变量三个关键字(var、let、const),我们到底该用哪一个?首先排除var,它是老牌的写法,会有很多问题,可以淘汰掉...我们在开发中建议const...
- html5大神结合js带你研究古老读心术,你的心思早被猜透
-
javascript/HTML5课题:javascript开发读心术游戏PS:大爆料!javascript解密读心术游戏背后故事知识点:读心术原理算法独家揭秘,HTML5最新选择器,...
- 纯CSS实现3个圆圈横向排列不断闪烁的Loading特效
-
这个纯CSS实现的Loading特效是一个非常简单而实用的选择,它由三个圆圈横向排列,并不断闪烁。这种动画效果很适合用于页面加载过程中,为用户提供一个愉悦的等待体验。在这个特效的设计中,使用了CSS的...
- 网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?
-
上篇文章向各位讲述了网站建设知识分享系列文章二:如何选择建站公司,今天我们来讲述下建站公司选定后,网站制作流程是怎样的,有哪些需要注意的细节性问题。选定建站公司,签订正规劳务合同后,最先开始的是设计环...
- 「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布
-
lottiejs-miniapp当前版本号:1.1.0npm地址:...
- Web开发基础之jQuery javascript web开发
-
jQuery是一个JavaScript库。jQuery极大地简化了JavaScript编程。jQuery的语法设计可以使开发更加便捷,例如操作文档对象、选择DOM元素、制作动画效果、事件处理、使用Aj...
- Web前端:JavaScript最强总结,最全面的零基础入门教程
-
JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器、面向(基于)对象、事件驱动式的网页脚本语言。JavaScript语言的前身叫作Livescript。JavaScript...
- jQuery 动画制作与特效 jquery的动画函数
-
使用show()和hide()方法在普通的javascript编程中,要实现元素的显示、隐藏通常是利用其CSS的display属性或者visibility属性。在jQuery中提供了show()和hi...
- JavaScript+css实现的登录注册页面web前端html源码
-
大家好,今天给大家介绍一款,JavaScript+css实现的登录注册页面web前端html源码(图1),布局合理。送给大家哦,获取方式在本文末尾。文本框获取焦点动画特效(图2)源码完整,需要的朋友可...
- CSS 3.0+HTML5.0制作各种网页特效
-
?1、C33实现点击图片渐渐放大特效??2、CSS3实现图片全屏背景特效?3、CSS3实现的鼠标移动到图片上不规则放大??3、jQuery+CSS3模拟苹果桌面系统??4、CSS3+jQuery照片...
- js+css实现的按钮悬停动画特效html前端源码,随机元素弹出效果
-
大家好,今天给大家介绍一款,js+css实现的按钮悬停动画特效html页面前端源码,随机元素弹出(图1)。送给大家哦,获取方式在本文末尾。鼠标经过按钮区域的时候,会随机从不同位置上弹出很多小元素,效果...
- Swiper - 免费开源、功能强大的触摸滑动js特效插件
-
简单配置就能实现手机、PC网页中滑动、焦点轮播图、tab切换和触摸导航等大部分功能。js滑动特效插件Swiper是一款纯javascript打造的滑动特效插件,主要用对移动端web开发...
- html5精选特效代码分享(收藏) html酷炫特效
-
在网页设计过程中,我们会经常用到一些HTML5特效代码,下面就是为大家整理分享的一些好看炫酷且实用的HTML5特效代码,可以放心在您的应用程序中使用。一、Canvas跟随鼠标光标动画特效演示、下载地址...
- 玩转Markdown(2)——抽象语法树的提取与操纵
-
上一篇玩转Markdown——数据的分离存储与组件的原生渲染发布,转眼已经鸽了大半年了。最近在操纵mdast生成md文件的时候,心血来潮,把玩转Markdown(2)给补上了。...
- 任由文字肆意流淌,更自由的开源 Markdown 编辑器
-
对于创作平台来说内容编辑器是十分重要的功能,强大的编辑器可以让创作者专注于创作“笔”下生花。而最好取悦程序员创作者的方法之一就是支持Markdown写作,因为大多数程序员都是用Markdown...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 一篇文章认识JavaScript中的Web API
- html5大神结合js带你研究古老读心术,你的心思早被猜透
- 纯CSS实现3个圆圈横向排列不断闪烁的Loading特效
- 网站建设知识分享系列文章三:符合用户体验的网页设计应如何做?
- 「更新」微信小程序 Lottie 动画组件 lottiejs-miniapp V1.1.0 发布
- Web开发基础之jQuery javascript web开发
- Web前端:JavaScript最强总结,最全面的零基础入门教程
- jQuery 动画制作与特效 jquery的动画函数
- JavaScript+css实现的登录注册页面web前端html源码
- CSS 3.0+HTML5.0制作各种网页特效
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)