爬取百思不得姐上面的视频

之前有了爬取糗事百科的经验，先想试着爬取一下视频，并下载到本地。
爬取目标：

• 爬取​​百思不得姐​​上面的视频
• 把视频下载到本地
• 敲一次回车就下载一个视频

0、爬取效果

1、确定所要爬去的视频

由于这次爬取的网页也是多页的，所以先分析url，规律是​​http://www.budejie.com/video/​​ + 页面数，然后观察页面代码的分布

这次爬取采用正则表达式来爬取

爬取视频名字的代码如下：

url_content = re.compile(r'<div class="j-r-list-c">.*?</div>.*?</div>', re.S)
url_contents = re.findall(url_content,response.read().decode('utf-8'))
#匹配视频名字的正则
name_reg = re.compile(r'<a href="/detail-.{8}?.html">(.*?)</\w>',re.S)
#匹配视频url的正则
url_reg = re.compile(r'data-mp4="(.*?)">')
urls = re.findall(url_reg,item)         #获取视频url
names = re.findall(name_reg,item)

2、下载爬取的视频

这里采用urllib.request.urlretrieve来下载视频

#url指下载链接，filename指保存的本地路径
#reporthook是一个回调函数，data是post到服务器的数据
urlretrieve(url, filename=None, reporthook=None, data=None)

所以下载视频就可以直接根据爬取的视频链接来下载，然后用视频名字来保存

urlretrieve(viedo[1], 'video\\%s.mp4' % (viedo[0]))

3、整理代码

#coding:utf-8
from urllib.request import urlopen
from urllib.request import Request
from urllib.request import urlretrieve
from urllib.error import URLError
import re

class BSBDJ:
    #构造函数，初始化一些变量
    def __init__(self):
        self.indexPage = 1
        self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' \
                          ' AppleWebKit/537.36 (KHTML, like Gecko)' \
                          ' Chrome/54.0.2840.99 Safari/537.36'
        self.headers = {'User-Agent':self.user_agent}
        #存放视频下载链接和视频名字
        self.viedos = []
        #存放是否继续运行的变量
        self.enable = False

    #传入某一页的索引获得页面变量
    def getPage(self,pageIndex):
        try:
            url = 'http://www.budejie.com/video/' + str(pageIndex)
            #构建请求的request
            request = Request(url,headers = self.headers)
            #利用urlopen获得页面
            response = urlopen(request)
            #利用re获取需要的那一部分的html代码
            url_content = re.compile(r'<div class="j-r-list-c">.*?</div>.*?</div>', re.S)
            url_contents = re.findall(url_content,response.read().decode('utf-8'))
            return url_contents
        except URLError as e:
            if hasattr(e,'reason'):
                print("连接百思不得姐失败，失败原因：%s",e.reason)
                return None

    #传入某一页的索引,获取视频链接和视频的名字
    def getPageItems(self,pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print('加载页面失败......')
            return None
        #每页视频的信息
        url_name = []
        viedo_name = []         #存放视频名字
        viedo_url = []          #存放视频链接
        for item in pageCode:
            #匹配视频名字的正则
            name_reg = re.compile(r'<a href="/detail-.{8}?.html">(.*?)</\w>',re.S)
            #匹配视频url的正则
            url_reg = re.compile(r'data-mp4="(.*?)">')
            urls = re.findall(url_reg,item)         #获取视频url
            if urls:
                names = re.findall(name_reg,item)
                #把url和name打包存储
                for i,j in zip(names,urls):         #将视频和视频名字配对
                    url_name.append([i,j])
        return url_name

    def loadViedo(self):
        #pass
        if self.enable == True:
            if len(self.viedos)<2:
                #获取新的一页
                url_name = self.getPageItems(self.indexPage)
                if url_name:
                    self.viedos.append(url_name)
                    #读完了，下一页
                    self.indexPage += 1

    def getOneVedio(self,pageVideos,page):
        #遍历一页的视频
        for viedo in pageVideos:
            #等待用户输入
            op = input()
            #每次输入判断是否需要继续加载
            self.loadViedo()
            #输入Q退出
            if op=='Q' or op=='q':
                self.enable = False
                return
            #下载视频
            print("第%s页,视频名字：%s\n视频链接：%s\n" % (str(page),viedo[0], viedo[1]))
            urlretrieve(viedo[1], 'video\\%s.mp4' % (viedo[0]))

    def start(self):
        #pass
        print("正在连接百思不得姐，按回车下载视频，Q退出\n")
        self.enable = True
        #先加载一页内容
        self.loadViedo()
        now_page = 0
        while self.enable:
            if len(self.viedos)>0:
                pageVideo = self.viedos[0]
                now_page += 1
                del self.viedos[0]
                #输出并下载视频
                self.getOneVedio(pageVideo,now_page)

bsbdj = BSBDJ()
bsbdj.start()