首页 > 编程语言 >Python分享之 Spider

Python分享之 Spider

时间：2023-08-12 18:36:46浏览次数：38  
标签：Python request Spider urllib url html 分享 data response

一、网络爬虫


     网络爬虫又被称为网络蜘蛛，我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想要的资源，他们靠的就是派出大量蜘蛛去网页上爬取，检索关键字，建立索引数据库，经过复杂的排序算法，结果按照搜索关键字相关度的高低展现给你。

    千里之行，始于足下，我们从最基础的开始学习如何写一个网络爬虫，实现语言使用Python。

二、Python如何访问互联网

     想要写网络爬虫，第一步是访问互联网，Python如何访问互联网呢？

     在Python中，我们使用urllib包访问互联网。（在Python3中，对这个模块做了比较大的调整，以前有urllib和urllib2,在3中对这两个模块做了统一合并，称为urllib包。包下面包含了四个模块，urllib.request，urllib.error，urllib.parse，urllib.robotparser），目前主要使用的是urllib.request。

     我们首先举一个最简单的例子，如何获取获取网页的源码：

import urllib.request
response = urllib.request.urlopen('https://docs.python.org/3/')
html = response.read()
print(html.decode('utf-8'))

三、Python网络简单使用

首先我们用两个小demo练一下手，一个是使用python代码下载一张图片到本地，另一个是调用有道翻译写一个翻译小软件。

3.1根据图片链接下载图片，代码如下：

import urllib.request

response = urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')
image = response.read()

with open('123.jpg','wb') as f:
    f.write(image)

其中response是一个对象

      输入：response.geturl()

      ->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'

      输入：response.info()

      -><http.client.HTTPMessage object at 0x10591c0b8>

      输入：print(response.info())

      ->Content-Type: text/html

          Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT

          Accept-Ranges: bytes

          ETag: "0f4b59230a4c41:0"

          Server: Microsoft-IIS/8.0

          Date: Sun, 14 Aug 2016 07:16:01 GMT

          Connection: close

          Content-Length: 2827

      输入：response.getcode()

      ->200

      3.1使用有道词典实现翻译功能

           我们想实现翻译功能，我们需要拿到请求链接。首先我们需要进入有道首页，点击翻译，在翻译界面输入要翻译的内容，点击翻译按钮，就会向服务器发起一个请求，我们需要做的就是拿到请求地址和请求参数。

           我在此使用谷歌浏览器实现拿到请求地址和请求参数。首先点击右键，点击检查（不同浏览器点击的选项可能不同，同一浏览器的不同版本也可能不同），进入图一所示，从中我们可以拿到请求请求地址和请求参数，在Header中的Form Data中我们可以拿到请求参数。

Python分享之 Spider_Python

代码段如下：

import urllib.request
import urllib.parse

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
print(html)

上述代码执行如下：

        {"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我爱你"}]],"smartResult":{"type":1,"entries":["","我爱你。"]}}

     对于上述结果，我们可以看到是一个json串，我们可以对此解析一下，并且对代码进行完善一下：

import urllib.request
import urllib.parse
import json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

四、规避风险

服务器检测出请求不是来自浏览器，可能会屏蔽掉请求，服务器判断的依据是使用‘User-Agent',我们可以修改改字段的值，来隐藏自己。代码如下：

import urllib.request
import urllib.parse
import json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = urllib.request.urlopen(url, data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

上述做法虽然可以隐藏自己，但是还有很大问题，例如一个网络爬虫下载图片软件，在短时间内大量下载图片，服务器可以可以根据IP访问次数判断是否是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法，一是使用延迟，例如5秒内访问一次。另一种办法是使用代理。

延迟访问（休眠5秒，缺点是访问效率低下）：

import urllib.request
import urllib.parse
import json
import time


while True:
    content = input('please input content(input q exit program):')
    if content == 'q':
        break;

    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
    data = {}
    data['type'] = 'AUTO'
    data['i'] = content
    data['doctype'] = 'json'
    data['xmlVersion'] = '1.8'
    data['keyfrom'] = 'fanyi.web'
    data['ue'] = 'UTF-8'
    data['action'] = 'FY_BY_CLICKBUTTON'
    data['typoResult'] = 'true'
    data = urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url, data)
    req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
    response = urllib.request.urlopen(url, data)
    html = response.read().decode('utf-8')
    target = json.loads(html)
    print(target['translateResult'][0][0]['tgt'])
    time.sleep(5)

 代理访问：让代理访问资源，然后讲访问到的资源返回。服务器看到的是代理的IP地址，不是自己地址，服务器就没有办法对你做限制。

步骤：

1，参数是一个字典｛'类型' : '代理IP：端口号' ｝ //类型是http,https等

proxy_support = urllib.request.ProxyHandler({})

2，定制、创建一个opener

opener = urllib.request.build_opener(proxy_support)

3，安装opener(永久安装，一劳永逸)

urllib.request.install_opener(opener)

3，调用opener（调用的时候使用）

opener.open(url)

五、批量下载网络图片

图片下载来源为**网（http://******.net)

图片下载的关键是找到图片的规律，如找到当前页，每一页的图片链接，然后使用循环下载图片。下面是程序代码（待优化,正则表达式匹配，IP代理）：

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0')
    response = urllib.request.urlopen(req)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']',a)
    return html[a:b]


def find_image(url):
    html = url_open(url).decode('utf-8')
    image_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a + 150)
        if b != -1:
            image_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    for each in image_addrs:
        print(each)
    return image_addrs

def save_image(folder,image_addrs):
    for each in image_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_girls(folder = 'girlimage',pages = 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'http://****.net/xx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        image_addrs = find_image(page_url)
        save_image(folder,image_addrs)

if __name__ == '__main__':
    download_girls()

代码运行效果如下：

Python分享之 Spider_json_02


标签：Python,request,Spider,urllib,url,html,分享,data,response
From： https://blog.51cto.com/u_15974582/7060589

相关文章

  • 某公司笔试题 - 字符串反转（附python代码）
    #接受一个只包含小写字母的字符串，然后输出该字符串反转后的字符串。（字符串长度不超过1000）importrestr1=input("请输入一个只有小写字母的字符串:")#通过正则表达式只匹配输入字符串中的小写字母str2=re.sub('[^a-z]','',str1)print(str2)iflen(str2)>0andlen(str2)......
  • python - 将数据附加到 Pandas 全局数据框变量不会持久
    https://www.coder.work/article/5047954我正在尝试使用pandasdataframe全局变量。但是，当我尝试将数据框重新分配或附加到全局变量时，数据框是空的。任何帮助表示赞赏。importpandasaspddf=pd.DataFrame()defmy_func():globaldfd=pd.DataFrame()fo......
  • python创建代理报错[WinError 10061] 由于目标计算机积极拒绝，无法连接。
    [WinError10061]由于目标计算机积极拒绝，无法连接最近在学习《python3：网络爬虫开发实战》时遇到了一个问题，在创建代理的例子中，运行代码后报了以下的错误：修改计算机代理设置或者防火墙都无法解决，最后注释了proxy_handler的http的键值，运行成功，所以猜测可能不支持存在多个代理信......
  • Xshell是做什么用的？Xshell使用教程分享
    Xshell是一款功能强大的终端模拟器，支持SSH1，SSH2，SFTP，TELNET，RLOGIN和SERIAL。通过提供业界先进的性能，Xshell包含了其他SSH客户端无法发现的功能和优势，作为新手，可能有很多不明白的地方，今天多多简单介绍一下Xshell和连接Linux服务器方法支持SSH1，SSH2，SFTP，TELNET，RLOGIN和SERIAL协议支持Wi......
  • python系列教程212
    声明：在人工智能技术教学期间，不少学生向我提一些python相关的问题，所以为了让同学们掌握更多扩展知识更好地理解AI技术，我让助理负责分享这套python系列教程，希望能帮到大家！由于这套python教程不是由我所写，所以不如我的AI技术教学风趣幽默，学起来比较枯燥；但它的知识点还是讲到位的了，也值......
  • Python 对象拷贝的详细教程
    在本篇文章中，会先介绍Python中对象的基础概念，之后会提到对象的深浅拷贝以及区别。在阅读后，应该掌握如下的内容：理解变量、引用和对象的关系理解Python对象中identity,type和value的概念什么是mutable和immutable对象？以及它们和hashable的关系深浅拷贝的......
  • python argparse传入布尔参数不生效的解决方法
    在一个需要用到flag作为信号控制代码中一些代码片段是否运行的，比如"--flagTrue"或者"--flagFalse"。但是古怪的是无法传入False，无论传入True还是False，程序里面都是True的参数，所以这个flag并没有生效，也就失去了意义。参考代码：importargparsedeftest_bool():parser=......
  • Python模块学习：subprocess模块详解
    一.subprocess模块subprocess是Python2.4中新增的一个模块，它允许你生成新的进程，连接到它们的input/output/error管道，并获取它们的返回（状态）码。这个模块的目的在于替换几个旧的模块和方法，如：os.systemos.spawn*1.subprocess模块中的常用函数函数描述subprocess.ru......
  • 传奇架设教程分享传奇私服商铺设置增加修改物品方法
    近期很多客户经常问到如何增加修改传奇商铺内的商品,今天我以3km2引擎为例给大家讲解一下传奇私服商铺怎么设置.传奇私服商铺的设置文件通常在D:\Mirserver\Mir200\BuyItemList.txt下面是一个商铺文件的一部分.懂一些简单脚本的玩家都应该知道怎么修改了吧.根据对应的数字可以修改......
  • python复习笔记
    文件操作w=open("c://....","r"或"w"或"a",encoding='utf-8')#字符串后跟b表示二进制文件w.readlines()#读出所有行存入listw.readline()#读出一行，若读完了返回""w.read()#读出所有字符构成字符串w.write("abab")#写入w.close()#关闭impo......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99