首页 > 编程语言 >Python实战--爬虫音乐数据的笔记

Python实战--爬虫音乐数据的笔记

时间:2025-01-07 16:59:39浏览次数:9  
标签:浏览器 Python 爬虫 agent -- html user 模块

开发工具

Python版本: 3.6

相关模块:

requests模块

time模块

parsel模块

re模块

time模块

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

数据来源查询分析

浏览器中打开我们要爬取的页面 按F12进入开发者工具,查看我们想要的酷狗音乐飙升榜在哪里 这里我们需要页面数据就可以了

核心代码实现

url = 'https://xxx.com/yy/html/rank.html'
# 请求头: 把python代码伪装成浏览器对服务器发送请求,  服务接收到请求,确认无误 会返回一个响应体数据 (response)
# user-agent : 浏览器基本信息
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/

标签:浏览器,Python,爬虫,agent,--,html,user,模块
From: https://blog.csdn.net/wjianwei666/article/details/144988643

相关文章

  • JAVA实现抖音、快手短视频解析去除水印下载无水印视频
    前言之间抖音接口有些变动,导致抖音解析代码失效,现在更新下文章的代码,亲测有效。需要引入的pom文件   <!--hutool工具类-->      <dependency>         <groupId>cn.hutool</groupId>         <artifactId>hutool-all</artifactId......
  • 容灾技术方案详解
    一、什么是容灾?容灾指的是,在异地搭建一套或多套和主生产系统一样的IT系统,用于应对在系统因发生意外(自然灾害、人为灾害、设备系统故障等)造成业务影响的情况,达到尽量让生产业务损失最小的目的。二、容灾分类容灾的分类分为数据级容灾、应用级容灾和业务级容灾,接下来我们就详细了......
  • 安卓开发录音机
    依赖dependencies{implementation("androidx.appcompat:appcompat:1.6.1")implementation("androidx.recyclerview:recyclerview:1.3.0")implementation("com.karumi:dexter:6.2.3")implementation(libs.appcompa......
  • springboot参数注解
    在SpringBoot中,创建RESTfulAPI时,通常会使用SpringMVC提供的注解来声明请求参数。以下是一些常用的注解及其用途:@RequestBody用途:用于将HTTP请求的body部分绑定到方法参数上,通常用于接收JSON或XML格式的数据。使用场景:适用于POST或PUT请求,当需要接收一个对象或复杂数据结构......
  • 分库分表带来的这7大问题,一定要小心!
    1.全局唯一ID问题问题描述在分库分表后,每张表的自增ID只在本表范围内唯一,但无法保证全局唯一。例如:订单表_1 的主键从1开始,订单表_2 的主键也从1开始。在需要全局唯一ID的场景(如订单号、用户ID)中会发生冲突。解决方案1.1使用分布式ID生成器推荐工具:Sn......
  • 安卓开发拍照录制项目二 录制
     第一步拍照在这里AndroidStudio拍照-CSDN博客 依赖dependencies{implementation("androidx.camera:camera-core:1.2.0")implementation("androidx.camera:camera-camera2:1.2.0")implementation("androidx.camera:camera-lifecycle:1.......
  • class="glyphicon glyphicon-lock form-control-feedback"
    AI生成:在Bootstrap中,class="glyphiconglyphicon-lockform-control-feedback"是一个用于显示图标并提供表单验证反馈的类组合。这个组合通常用于表单中,以在输入框旁边显示一个图标,表示输入状态(如有效、无效或正在验证等)。以下是每个类的详细解释:类解释glyphicon:这是Bo......
  • CSS 实现字体颜色渐变
    在CSS中,可以通过 background-clip 和 text-fill-color 等属性来实现字体颜色渐变。以下是实现字体颜色渐变的基本步骤和示例代码:示例代码<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"/><metaname="viewport"content="width=device......
  • 视觉格式化模型 - 常规流
    常规流盒模型:规定单个盒子的规则视觉格式化模型(布局规则):页面中的多个盒子排列规则视觉格式化模型,大体上将页面中盒子的排列分为三种方式:常规流浮动定位常规流布局常规流、文档流、普通文档流、常规文档流所有元素,默认情况下,都属于常规流布局总体规则:块盒独占一行,行盒......
  • 导出表格加样式
     importFileSaverfrom"file-saver";importXLSXStylefrom"xlsx-style";importXLSXfrom"xlsx";exportfunctionexportExcel(data,name,merges,zishu,save=true){ returnnewPromise((resolve)=>{  letindex......