首页 > 其他分享 >动态爬虫-时光网影评

动态爬虫-时光网影评

时间:2023-08-19 22:14:29浏览次数:30  
标签:comment 时光 爬虫 headers params 影评 time print

import requests
import time

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
      'referer': 'http://movie.mtime.com/209164/comment'}

for page in range(1, 11):
  params = {'tt' : ''.format(time.time()* 1000),
    'movieId' : '209164',
    'pageIndex' : page,
    'pageSize' : 200,
    'orderType' :1
    }
  res = requests.get('http://front-gateway.mtime.com/library/movie/longCommentList.api', 
                      headers = headers, params = params)
    
  comment_lists = res.json()['data']['list']
  time.sleep(1)
  for i in comment_lists:
    print('用户昵称:', i['nickname'])
    print('影评内容:', i['content'])
    print('用户打分:', i['rating'])

 

标签:comment,时光,爬虫,headers,params,影评,time,print
From: https://www.cnblogs.com/v9193/p/17643228.html

相关文章

  • Socks5、IP代理在爬虫开发与HTTP通信中的应用
    随着互联网的不断发展,代理服务器成为网络工程师和数据爬虫开发者的关键工具。本文将深入探讨Socks5代理、IP代理以及它们在网络安全、爬虫开发和HTTP通信中的重要作用。1.代理服务器:保障隐私与安全的中间人代理服务器是位于客户端与目标服务器之间的中间服务器,用于传递网络请求。......
  • 基于Python的招聘网站爬虫及可视化的实现-计算机毕业设计源码+LW文档
    开发语言:Python框架:flaskPython版本:python3.7.7数据库:mysql5.7(一定要5.7版本)数据库工具:Navicat11开发软件:PyCharm浏览器:谷歌浏览器DROPTABLEIFEXISTSa6woc_zhaopinxinxi;/*!40101SET@saved_cs_client=@@character_set_client/;/!40101SETcharacter_set_cli......
  • 2023年爬虫有哪些好用的付费代理IP?芝麻代理品易代理快代理熊猫代理……
    在我加班到凌晨2点的时候,第N次收到HTTP代理返回:项目是没办法接着做了,回家也是不可能回家的,烦得很一时半会还没想走,这种情况谁懂?开始知乎摸鱼,翻到这个:哈?这不就是1*88源头厂家的意思?????说这个我可就立马福尔摩斯附体了啊,今天我可非得找到你这个家伙!中间曲折的过程我就不重复说了,直接给我......
  • 提高批量爬虫采集效率的7个实用技巧
    批量爬虫采集是数据获取的重要手段,但如何提高其效率却是让很多程序员头疼的问题。本文将分享七个实用技巧,帮助你优化批量爬虫采集工作,提高效率和产出。1.优化请求频率:合理设置访问频率是提高爬虫效率的关键。根据网站的响应速度和机器的承载能力,合理调整请求间隔时间,避免过于频繁或......
  • 隧道代理被识别?爬虫编程的应对策略与解决方案
    没有遇到使用了隧道代理后,还是被网站识别到的问题?别急,今天我来分享一些解决识别问题的妙招!这些方法简单易行,让你的爬虫工作顺利进行,快来跟我一起看看吧!先了解一下,为什么爬虫使用隧道代理后仍然被识别?隧道代理是一种通过在本地计算机和目标服务器之间建立一个安全的隧道来隐藏真实IP......
  • 爬虫新手变高手!快速完成批量爬虫采集任务
    大家好!作为一名专业的爬虫程序员,我今天要和大家分享一些关于如何快速完成批量爬虫采集任务的进阶技巧。如果你已经掌握了基本的爬虫知识,那么这些技巧将帮助你更快地完成采集任务。1.数据去重——避免重复采集和冗余数据在大规模数据采集任务中,经常会出现重复的数据和冗余的信息。为......
  • 批量爬虫采集大数据的技巧和策略分享
    作为一名专业的爬虫程序员,今天主要要和大家分享一些技巧和策略,帮助你在批量爬虫采集大数据时更高效、更顺利。批量爬虫采集大数据可能会遇到一些挑战,但只要我们掌握一些技巧,制定一些有效的策略,我们就能在数据采集的道路上一帆风顺。1、设立合理的请求频率在进行批量爬虫采集时,频繁......
  • 提高批量爬虫工作效率
    提高批量爬虫工作效率大家好!作为一名专业的爬虫程序员,我今天要和大家分享一些关于提高批量爬虫工作效率的实用技巧。无论你是要批量采集图片、文本还是视频数据,这些经验都能帮助你在大规模数据采集中事半功倍。废话不多说,让我们开始吧!1.合理设置爬虫任务——优化数据采集计划在进......
  • Python爬虫初探
    title:Python爬虫初探date:2023-08-0116:16:51categories:CTF-Web入门description:爬取吉大贴吧前十页帖子标题终于到了基础知识的最后一节,python写爬虫程序。Python写简单爬虫主要是两个模块,requests和re,下面分别介绍一下这两个模块。requests模块初探请求模块,用来......
  • 爬虫隧道代理设置多久换一次更合适?
    今天我们来分享的内容是,爬虫隧道代理设置多久换一次比较好的问题!让我们一起来探讨,为你的爬虫工作增添一份稳定与流畅!在爬虫过程中,设置隧道代理是一种常见的需求,它可以帮助我们隐藏真实的IP地址,通过更换代理IP来规避目标网站的访问限制。但是,隧道代理的更换频率也是一个关键......