python爬虫伪装ip(伪装好了才能出发)

前面我们介绍过通过不同的浏览器访问网站,算是伪装的一种方法。今天介绍一下通过代理服务器的方式去访问网站,是伪装的另外一种方法了。

python爬虫伪装ip(伪装好了才能出发)(1)

思路和准备

可以通过网站 http://httpbin.org/get 得知我们现在的IP情况,等下我们就以访问这个网站为例来看看代理是否工作。

另外,这里介绍一个免费代理的网站,大家可以用作测试。如果需要专业爬网站,最好是去买个代理。https://www.xicidaili.com

python爬虫伪装ip(伪装好了才能出发)(2)

编写代码

这里引入了一个ProxyHandler组件,在这里可以配置http的代理服务器的IP。如果是付费的IP可以通过用户名和密码的方式访问。

另外,我们的访问需要通过build_opener调用handler来实现。代码很简单,大部分代理之前都介绍过。

from urllib.Request import request, build_opener from fake_useragent import UserAgent from urllib.request import ProxyHandler url = "http://httpbin.org/get" headers={ "User-Agent": UserAgent().chrome } request = Request(url, headers=headers) handler = ProxyHandler({"http" : "112.85.129.8:9999"}) opener = build_opener(handler) response = opener.open(request) print(response.read().decode())

测试结果

先运行程序看看目前没有用代理的时候IP的信息

python爬虫伪装ip(伪装好了才能出发)(3)

再看看利用了proxy之后产生的结果

python爬虫伪装ip(伪装好了才能出发)(4)

可以看到请求的ip地址已经发生了改变。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。