python爬虫代理ip

代理ip

爬虫去爬取网站数据的数据的时候，如果单位时间内爬取频次过高，或者其他的原因，被对方识别出来，ip可能会被封禁。这种情况下，通过使用代理ip来解决，作为反爬的策略。

代理ip匿名度：

1.透明的： 服务器知道了你使用代理ip，也知道你真实的ip

2.匿名代理： 知道使用了代理ip，不知道真实的ip

3.高匿代理： 不知道使用了代理ip，也不知道真实的ip（最好的选择）

查看ip 的方法：

1.在cmd输入命令行：ipconfig（内网的ip——私有的地址）

2.浏览器访问：ipip.net (外网，上网的ip)

如果设置代理ip，可以通过httpbin.org/ip来查看。不设置代理ip查看则显示我们的真实ip。即上边的外网ip，上网的ip。

代理可以从快代理或豌豆代理处付费获得。（也有可以免费试用的的几个）

查看我们的真实ip的代码:

1| import requests

2| url = "http://httpbin.org/ip"

3| res = requests.get(url)

4| print(res.text)

输出结果显示真实ip。

设置代理ip：

1| # 设置一个代理ip,以字典形式呈现，代理ip写在字典值中

2| proxy = {

3| 'http': 'xxx.xx.xxx.xxx:xxxx'

4| }

5| res = requests.get(url, proxies=proxy)

6| print(res.text)

输出结果显示设置的代理ip。

选出5个ip为例，从中随机选择一个试用，选5次，且出现异常时避免报错。时间间隔设置为1。

1| '''

2| 36.6.149.154:xxx

3| 114.233.125.55:xxxxx

4| 117.26.229.24:xxx

5| 122.241.27.24:xxxxx

6| 61.132.171.215:xxx

7| '''

8| import random

9|ips=[('36.6.149.154:xxx'),('114.233.125.55:xxxxx'),('117.26.229.24:xxx'),('122.241.27.24:xxxxx'),('61.132.171.215:xxx'),]

10| url = 'http://httpbin.org/ip'

11| for i in range(5):

12| try:

13| ip = random.choice(ips)

14| res = requests.get(url, proxies={'http':ip}, timeout=1)

15| print(res.text)

16| except Exception as e:

17| print('出现异常', e)

本文来源转载

原文链接：python爬虫代理ip_爬虫ip下载-CSDN博客

若有侵权，请联系作者及时删除，谢谢！！