爬虫两种不同的代理使用模式
在我们使用爬虫的过程中,很容易遇到反爬机制是禁用ip的,可以使用代理ip解决ip被封的问题。但是网上ip代理有很多家,到底选哪家好呢?
本文选择亿牛云代理(官网地址www.16yun.cn)进行演示,使用php语言,如果需要大规模抓取可以去试试python。
在官网我们可以看到有提供两种方式进行代理,一种是api模式,一种是隧道模式。Api模式就是我们爬虫最常用到的,就是提供url连接给你,你的程序自动的获取代理信息。这个模式适合自己需要管理ip池控制ip的使用,ip的有效时间是2到10分钟;隧道模式就提供给你一个固定的服务器ip地址信息,包括ip:端口:用户名:密码只需要将代理信息配置到程序里面就可以使用,他们后台会自动切换ip,这个模式很方便,简单。
第一种方式
首先代理提供商会提供给你一个api接口,你可以通过这个接口去获取ip和端口号。但是这些ip的时效是2到10分钟,所以我建立了一个ip池,每两分钟去更新一次ip池,以确保这些ip每次用到的时候都是有效的。
第二种方式
可以直接查看亿牛云代理接入文档php代码,这种是动态转发模式的
<?php
// 要访问的目标页面
$url = “http://httpbin.org/ip”;
$urls = “https://httpbin.org/ip”;
// 代理服务器
define(“PROXY_SERVER”, “tcp://t.16yun.cn:31111”);
// 隧道身份信息
define(“PROXY_USER”, “16YUN123”);
define(“PROXY_PASS”, “123456”);
$proxyAuth = base64_encode(PROXY_USER . “:” . PROXY_PASS);
// 设置 Proxy tunnel
$tunnel = rand(1,10000);
$headers = implode(”
“, [
“Proxy-Authorization: Basic {$proxyAuth}”,
“Proxy-Tunnel: ${tunnel}”,
]);
$sniServer = parse_url($urls, PHP_URL_HOST);
$options = [
“http” => [
“proxy” => PROXY_SERVER,
“header” => $headers,
“method” => “GET”,
“request_fulluri” => true,
],
“ssl” => array(
“SNI_enabled” => true, // Disable SNI for https over http proxies
“SNI_server_name” => $sniServer
)
];
print($url);
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
var_dump($result);
// 访问 HTTPS 页面
print($urls);
$context = stream_context_create($options);
$result = file_get_contents($urls, false, $context);
var_dump($result);?>
经过一周的测试,代理的有效率在90%以上,总体来说效果是很好的,尤其是稳定性。