近做了一个模拟http抓取网站,网址:https://www.clw9335.com/gl/ 去模拟抓取destoon站时候出现http 403 forbidden问题,必须要植入cookie才能抓取成功,最后找到问题所在。
找到/include/safe.func.php :
1 2 3 4 5 6 7 8 |
function strip_key( $array ) {
foreach ( $array as $k => $v ) {
if (!preg_match( "/^[a-z0-9_\-]{1,64}$/i" , $k )) {
}
if ( is_array ( $v )) strip_key( $v );
}
}
|
注释掉:
1 2 |
dhttp(403, 0);
dalert( 'HTTP 403 Forbidden - Bad Data' , DT_PATH);
|
这样就好了。
再模拟抓取下,就可以成功抓取到了!
标签:destoon,http,forbidden,抓取,403,array From: https://www.cnblogs.com/zx8868/p/17758722.html