猫眼电影TOP100

一、猫眼电影排行TOP100抓取（小案例）

​ 声明：个人源码仅供自己学习记录，他人使用学习中切勿用于非法用途，请自觉遵守国家法律。造成的损失一概与本人无关。

​ 本文记录了自己学习途中的代码，主要通过正则提取解析网页内容然后存储到本地。猫眼电影拥有反爬机制，使用爬虫加上延时一样会限制爬虫。通过自己的验证，发现headers里面同时加上Referer和Cookie关键字可以有效解决反爬虫

import requests
import re
import time
import json


def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',
        'Referer':'https://www.maoyan.com/board/4?offset=0',
        'Host':'www.maoyan.com',
        'Cookie':'__mta=45446555.1702305147666.1702630145492.1702630166951.153; uuid_n_v=v1; uuid=182070B0983211EEA42BC76D52EF6155E124F6779666424A8A3A9F5BF9F143BC; _csrf=302474aaec1c34983f54bbe7225e9e592e968b1b3e7201f3f4b614e090a72775; _lxsdk_cuid=18c594b183569-0b4f030aaf92cd-26031051-144000-18c594b1836c8; _lxsdk=182070B0983211EEA42BC76D52EF6155E124F6779666424A8A3A9F5BF9F143BC; Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1702305143; Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1702630167; _lxsdk_s=18c6c90e46a-412-5bf-129%7C%7C187'
    }
    response = requests.get(url=url, headers=headers)
    if response.status_code == 200:
        print('开始抓取中！')
        return response.text
    print('爬取太过频繁！')
    return None

def write_to_file(content):
    with open('result.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)) # ensure_ascii=False：存储不使用ascii码规范
# if __name__=='__main__':
#     main()
# 爬取：排名、电影封面图链接、电影名、主演、上映时间、评分
def parse_one_page(html):
    # re.S即让.匹配到换行符。尤其在抓取解析网页中re.S使用较频繁。
    pattern = re.compile(
        '<dd>.*?<i class=".*?">(.*?)</i>.*?data-src="(.*?)" alt="(.*?)".*?/>.*?<p class="star">(.*?)</p>'
        '.*?<p class="releasetime">(.*?)</p>.*?i class="integer">(.*?)</i><i class="fraction">(.*?)</i>', re.S
    )
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index':item[0],
            'imags':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip()[5:],
            'score':item[5].strip() + item[6].strip() #评分在网页中被拆分为两个标签。通过字符串相加拼接在一起
        }
        
def main(offset):
    url = 'https://www.maoyan.com/board/4?offset={}'.format(offset)
    time.sleep(1)
    html_text = get_one_page(url)
    for item in parse_one_page(html_text):
        # print(item)
    	# item = parse_one_page(html_text)
        write_to_file(item) #调用保存文件函数
     print(f'抓取完成！')
    
# with open('测试.txt', 'r', encoding='utf-8') as f:
#     content = f.read()
if __name__=="__main__":
    for i in range(10): # 抓取TOP100
        main(offset=i*10)
        print('---')
        time.sleep(5)