Python数据抓取爬虫代理防封IP方法

小编 2026-07-04 阅读:1144 评论:0

爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理的IP的，我就来分...

爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理的IP的，我就来分享一下Python爬虫怎样使用代理IP的经验。（推荐飞猪代理IP注册可免费使用，浏览器搜索可找到）

$\"\"$

1、划重点，小编我用的是Python3哦，所以要导入urllib的request，然后我们调用ProxyHandler，它可以接收代理IP的参数。代理可以根据自己需要选择，当然免费的也是有的，但是可用率可想而知的。（飞猪IP）

$\"\"$

2、接着把IP地址以字典的形式放入其中，这个IP地址是我乱写的，只是用来举例。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号（9000），具体看你的IP地址是什么类型的，不同IP端口号可能不同根据你在飞猪提取的端口为准。

$\"\"$

3、接着再用build_opener()来构建一个opener对象。

$\"\"$

4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。

$\"\"$

5、当然了，如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。

$\"\"$

6、设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址就是代理IP，而不是本机的IP地址了。

$\"\"$

7、最后再来说说使用代理遇到的错误，提示目标计算机积极拒绝，这就说明可能是代理IP无效，或者端口号错误，这就需要使用有效的IP才行哦。（这边现在是乱填写的IP地址）可选择飞猪的代理IP。

$\"\"$

总结：以上就是本次关于Python数据抓取爬虫代理防封IP方法，感谢大家的阅读和对脚本之家的支持。

版权声明

本文仅代表作者观点，不代表百度立场。
本文系作者授权百度百家发表，未经许可，不得转载。

上一篇：openstack中dashboard页面RuntimeError: Unable to create a new session key. It is likely that the cache is unavailable. 下一篇：菜鸟帮你跳过openstack配置过程中的坑[文末新添加福利]

热门文章

Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model)：对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt,t∈N}，我们认为每个观测结果yty_tyt的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt∈{xt,t∈N}，即：p(...
机房智能化温湿度解决方式之POE供电以太网温湿度传感器

机房智能化温湿度解决方式之POE供电以太网温湿度传感器北京盈创力和电子科技有限公司智能型TCP网口温湿度记录仪北京IP网络温湿度记录仪厂家，北京盈创力和北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块，利用它可以实现现场温度值、相对湿度值的采集，同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。工作于-40℃～85℃工业级带...
Hive 系统函数及示例

查看所有系统函数 show functions; 函数分类内置函数【系统函数】数学函数： floor、round、ceil、cos、log2等字符串函数： length、reverse、trim、lower、get_json_object、repeat等收集函数： size 转换函数： cast 日期函数： year、month、datediff、date、date_add等条件函数： coalesce、case…w...
HTTP状态保持的原理

a)在用户登录之后，浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候，浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录　　Http是无状态的，就是连接时数据互通，关闭后...
CSRF的原理和防范措施

a)攻击原理：i.用户C访问正常网站A时进行登录，浏览器保存A的cookieii.用户C再访问攻击网站B，网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交，传指定的参数iii.而攻击网站B在访问网站A的时候，浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态，所以...