首页 > 其他分享 >网易云音乐榜单爬取

网易云音乐榜单爬取

时间:2024-06-21 18:55:19浏览次数:23  
标签:网易 榜单 song url 爬取 headers Live music id

打开网易云音乐,进入飙升榜

进入到开发者工具页面,搜索列表页歌曲名称,查看请求地址

模拟浏览器发出请求,查看响应内容

import requests

url = 'https://music.163.com/discover/toplist?id=19723756'

headers = {
    'User-Agent':'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers)
print(response.text)

响应结果:

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
......
<title>飙升榜 - 排行榜 - 网易云音乐</title>
......
<div class="u-title u-title-1 f-cb"><h3><span class="f-ff2">歌曲列表</span></h3><span class="sub s-fc3"><span>100</span>首歌</span><div class="more s-fc3">播放:<strong class="s-fc6" id="play-count">5967535104</strong>次</div></div>
<div id="song-list-pre-cache" data-key="song_toplist-19723756" data-simple="0" data-pvnamed="0">
<div class="u-load s-fc4"><i class="icn"></i> 加载中...</div>
<ul class="f-hide"><li><a href="/song?id=2164852326">GoneBad(PHONK)</a></li><li><a href="/song?id=2151853884">我会好好的 (Live版)</a></li><li><a href="/song?id=1868810493">Anyone(80's Version)</a></li><li><a href="/song?id=2166485338">喜帖街</a></li><li><a href="/song?id=70713">Love U 2</a></li><li><a href="/song?id=2166087862">河</a></li><li><a href="/song?id=2165610149">Jar Of Love</a></li><li><a href="/song?id=2166118123">妥协 (Live版)</a></li><li><a href="/song?id=2145896224">当路灯断了电</a></li><li><a href="/song?id=2163953992">是想你的声音啊2024</a></li><li><a href="/song?id=2164313909">我们不给草</a></li><li><a href="/song?id=32737469">LoveU2</a></li><li><a href="/song?id=2063210044">I Walk This Earth All By Myself</a></li><li><a href="/song?id=2133568636">Fast Cars & Superstars (Extended)</a></li><li><a href="/song?id=1803913957">Trippin</a></li><li><a href="/song?id=2600259312">最小的房间</a></li><li><a href="/song?id=2165544251">月下</a></li><li><a href="/song?id=2599542235">网恋</a></li><li><a href="/song?id=2166067707">下雨天</a></li><li><a href="/song?id=2145152864">宝莲</a></li><li><a href="/song?id=1397248051">Just Friends</a></li><li><a href="/song?id=2100671888">放纵</a></li><li><a href="/song?id=2120974013">不得不爱</a></li><li><a href="/song?id=139764">不得不爱</a></li><li><a href="/song?id=2102493822">Moth</a></li><li><a href="/song?id=2164832581">能不能让我回到最初的记忆</a></li><li><a href="/song?id=2166486002">野风筝</a></li><li><a href="/song?id=2599615008">III(当遗书只能写两个字)</a></li><li><a href="/song?id=3956911">Duvet</a></li><li><a href="/song?id=2086327879">鲜花</a></li><li><a href="/song?id=2166118105">连名带姓 (Live版)</a></li><li><a href="/song?id=2156757027">you don’t get</a></li><li><a href="/song?id=2599557067">回 忆 凌 迟</a></li><li><a href="/song?id=2159189900">If You Want</a></li><li><a href="/song?id=2600218510">霞</a></li><li><a href="/song?id=2159142475">Mood</a></li><li><a href="/song?id=2141105706">无名的人</a></li><li><a href="/song?id=2139634085">Butcher Vanity (feat. Jamie Paige & ricedeity)</a></li><li><a href="/song?id=2162980501">EMO</a></li><li><a href="/song?id=2130949397">紧急应变逃生法</a></li><li><a href="/song?id=109995">离人</a></li><li><a href="/song?id=2154224380">Million Dollar Baby (Freestyle)</a></li><li><a href="/song?id=2600223535">CHINA-溯</a></li><li><a href="/song?id=2167072459">37.2万亿次被爱</a></li><li><a href="/song?id=1968316652">Wasted (Nightcore) [Bass Boosted] (feat. harmony haven)</a></li><li><a href="/song?id=522429778">Never Enough</a></li><li><a href="/song?id=209586">妥协</a></li><li><a href="/song?id=2156522597">阳光下的星星</a></li><li><a href="/song?id=2163888616">一百万个可能(在一瞬间有100万个可能)</a></li><li><a href="/song?id=2154102422">天若有情 (Live版)</a></li><li><a href="/song?id=2129666437">你在 不在</a></li><li><a href="/song?id=2166118151">冬眠 (Live版)</a></li><li><a href="/song?id=2071452224">Take Me Hand</a></li><li><a href="/song?id=2166444455">Askitxamiz(还会有好处)</a></li><li><a href="/song?id=2163974497">瘦子 (Live版)</a></li><li><a href="/song?id=2165750615">瘦身男女</a></li><li><a href="/song?id=2014019634">假装快乐</a></li><li><a href="/song?id=2159389737">又在想你</a></li><li><a href="/song?id=2599522185">一罐爱</a></li><li><a href="/song?id=2149188052">Fast cars (2024 Radio Edit)</a></li><li><a href="/song?id=1351578882">One Thing</a></li><li><a href="/song?id=2161881997">留不住风雨</a></li><li><a href="/song?id=2134852913">Wish You Hell</a></li><li><a href="/song?id=2159184104">聊天记录越往上你越爱我( Shawty)</a></li><li><a href="/song?id=2148885579">unbreakable love</a></li><li><a href="/song?id=2600032102">Shu Shu</a></li><li><a href="/song?id=2163320621">红霞帔</a></li><li><a href="/song?id=19827042">Call You Tonight</a></li><li><a href="/song?id=2138969676">Is It Just Me?</a></li><li><a href="/song?id=2599500900">小气鬼</a></li><li><a href="/song?id=2153774529">The Last Wish (Radio Edit)</a></li><li><a href="/song?id=2165782373">等烟火的人</a></li><li><a href="/song?id=2076195413">良爱苦口</a></li><li><a href="/song?id=2159130175">最初的记忆</a></li><li><a href="/song?id=2100630469">错位时空</a></li><li><a href="/song?id=25699092">迷宫</a></li><li><a href="/song?id=2159086461">Qing hua</a></li><li><a href="/song?id=2599632687">人选</a></li><li><a href="/song?id=2161577189">毕业典礼</a></li><li><a href="/song?id=1917046317">Just Friends</a></li><li><a href="/song?id=2158936855">月並みに輝け</a></li><li><a href="/song?id=2165498251">渊</a></li><li><a href="/song?id=2600258168">辗转年华</a></li><li><a href="/song?id=1807860447">Mind On You</a></li><li><a href="/song?id=2164765878">有谁懂我的难过</a></li><li><a href="/song?id=5100462">Dilemma</a></li><li><a href="/song?id=2022954257">银河守望</a></li><li><a href="/song?id=2075804849">Mistletoe</a></li><li><a href="/song?id=2148826386">路上的光</a>
......
</html>

使用正则表达式提取音乐名称

import re

html_data = re.findall('<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
for song_id, title in html_data:
music_url = f'https://music.163.com/discover/toplist?id='
print(song_id, title)

运行结果:

2164852326 GoneBad(PHONK)
2151853884 我会好好的 (Live版)
1868810493 Anyone(80's Version)
2166485338 喜帖街
70713 Love U 2
2166087862 河
2165610149 Jar Of Love
2166118123 妥协 (Live版)
2145896224 当路灯断了电
2163953992 是想你的声音啊2024
2164313909 我们不给草
32737469 LoveU2
2063210044 I Walk This Earth All By Myself
2133568636 Fast Cars & Superstars (Extended)
1803913957 Trippin
2600259312 最小的房间
2165544251 月下
2599542235 网恋
2166067707 下雨天
2145152864 宝莲
1397248051 Just Friends
2100671888 放纵
2120974013 不得不爱
139764 不得不爱
2102493822 Moth
2164832581 能不能让我回到最初的记忆
2166486002 野风筝
2599615008 III(当遗书只能写两个字)
3956911 Duvet
2086327879 鲜花
2166118105 连名带姓 (Live版)
2156757027 you don’t get
2599557067 回 忆 凌 迟
2159189900 If You Want
2600218510 霞
2159142475 Mood
2141105706 无名的人
2139634085 Butcher Vanity (feat. Jamie Paige & ricedeity)
2162980501 EMO
2130949397 紧急应变逃生法
109995 离人
2154224380 Million Dollar Baby (Freestyle)
2600223535 CHINA-溯
2167072459 37.2万亿次被爱
1968316652 Wasted (Nightcore) [Bass Boosted] (feat. harmony haven)
522429778 Never Enough
209586 妥协
2156522597 阳光下的星星
2163888616 一百万个可能(在一瞬间有100万个可能)
2154102422 天若有情 (Live版)
2129666437 你在 不在
2166118151 冬眠 (Live版)
2071452224 Take Me Hand
2166444455 Askitxamiz(还会有好处)
2163974497 瘦子 (Live版)
2165750615 瘦身男女
2014019634 假装快乐
2159389737 又在想你
2599522185 一罐爱
2149188052 Fast cars (2024 Radio Edit)
1351578882 One Thing
2161881997 留不住风雨
2134852913 Wish You Hell
2159184104 聊天记录越往上你越爱我( Shawty)
2148885579 unbreakable love
2600032102 Shu Shu
2163320621 红霞帔
19827042 Call You Tonight
2138969676 Is It Just Me?
2599500900 小气鬼
2153774529 The Last Wish (Radio Edit)
2165782373 等烟火的人
2076195413 良爱苦口
2159130175 最初的记忆
2100630469 错位时空
25699092 迷宫
2159086461 Qing hua
2599632687 人选
2161577189 毕业典礼
1917046317 Just Friends
2158936855 月並みに輝け
2165498251 渊
2600258168 辗转年华
1807860447 Mind On You
2164765878 有谁懂我的难过
5100462 Dilemma
2022954257 银河守望
2075804849 Mistletoe
2148826386 路上的光
2119517202 Moshi Moshi (feat. 百足)
2091082528 沉溺(你让我的心不再结冰)
2599553566 我想你不知道我喜欢你
1469768565 你要如何,我们就如何 (Live)
2154333497 Luv(sic), pt3
2163646817 威士忌酸
2152487591 Sacred Play Secret Place雨声
2154832088 起卦
1498236566 Call Me Now (Rob Adans Remix)
2146006430 Range Rover
26117675 我的秘密

下载音乐

import os

filename = 'music\\'
if not os.path.exists(filename):
    os.makedirs(filename)

response = requests.get(url=url, headers=headers)
# print(response.text)
html_data = re.findall('<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
for song_id, title in html_data:
    music_url = f'http://music.163.com/song/media/outer/url?id={song_id}.mp3'
    # 对于音乐地址发送请求,获取二进制数据
    music_content = requests.get(music_url, headers=headers).content
    with open('music\\' + title + '.mp3', 'wb') as f:
        f.write(music_content)
    print(song_id, title)

 

标签:网易,榜单,song,url,爬取,headers,Live,music,id
From: https://www.cnblogs.com/JJJHaoran/p/18261197

相关文章

  • 【python数据可视化】利用Python爬取天气数据并实现数据可视化,绘制天气轮播图
    用Python爬虫抓取全年天气数据并绘制天气轮播图一、运行结果:二、代码展示:由csv文件生成↓接下来是绘制天气轮播图运行结果:完整代码请看这里↓......
  • Java网易163邮箱工具类-部署到Linux
    1,设置163邮箱开启POP3/SMTP/IMAP2,依赖<dependency> <groupId>jakarta.mail</groupId> <artifactId>jakarta.mail-api</artifactId> <version>2.1.3</version></dependency><dependency> <groupId>com.sun.m......
  • 小说爬虫-02 爬取小说详细内容和章节列表 推送至RabbitMQ 消费ACK确认 Scrapy爬取 SQL
    代码仓库代码我已经上传到Github,大家需要的可以顺手点个Star!https://github.com/turbo-duck/biquge_fiction_spider背景介绍上一节已经拿到了每个小说的编码:fiction_code,并且写入了数据库表。接下来,我们写一个小工具,将数据表中的数据,都推送到RabbitMQ中。为了保......
  • rust 爬取笔趣阁生成epub文件
    简单研究一下epub,毕竟txt总是看着不爽,后面在优化epub样式cargo.toml[package]name="bqg_epub"version="0.1.0"edition="2021"[dependencies]epub-builder="0.7.4"reqwest={version="0.12.5",features=["blocking......
  • 如何使用python脚本爬取微信公众号文章
    1、什么是爬虫?在座的各位可能经常听到一个词,叫“爬虫”,这是一种能够悄无声息地将网站数据下载至本地设备的程序。利用爬虫,您无需亲自访问特定网站,逐个点击并手动下载所需数据。相反,爬虫能够全自动地为您完成这项任务,从网站上获取您所需的信息,并将其下载到您的设备上,而整个过程......
  • 网易云简单案例
    importrequests#1.获取单张图片#找到目标urlurl='https://p1.music.126.net/MSAC3foF-V7L_wXo8GWNag==/109951169698511206.jpg?imageView&quality=89'#构造请求头字典headers={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_15_7......
  • 网易易盾中文点选验证码识别方法
    中文验证码一直是识别的难题,首先他分类的种类很多,常见中文都有3500个,而且一般中文验证码都会有变形,导致每一个文字都需要大量训练样本。假设每一个汉字样本需要100个,100×3500=35万个样本,所以标记的样本数量巨大,训练周期长,成本高。而且通常需要点选的文字数量很多,需要同时全......
  • 用Xpath制作简单的爬取网页工具,获取神奇宝贝百科每只精灵的信息
    最近开始学习Python的爬虫应用,个人比较喜欢用Xpath的方式来爬取数据,今天就结合一下Xpath方式,以“神奇宝贝百科”为素材,制作一个爬取每只宝可梦数据的工程项目准备工作神奇宝贝百科地址:https://wiki.52poke.com/wiki/主页工程项目的目标是,获取每只精灵的名字、编号、属性、特性......
  • python爬取数据爬取图书信息
    #encoding=utf-8importjson#json包,用于读取解析,生成json格式的文件内容importtimefromrandomimportrandintimportrequests#请求包用于发起网络请求frombs4importBeautifulSoup#解析页面内容帮助包fromlxmlimportetreeimportre#正则表达式......
  • Web爬虫-edu_SRC-目标列表爬取
    免责声明:本文仅做技术交流与学习...爬取后,结合暗黑搜索引擎等等进行进一步搜索.edu_src.pyimportrequests,timefrombs4importBeautifulSoupforiinrange(1,20):url=f'https://src.sjtu.edu.cn/rank/firm/0/?page={i}'print(f"正在获取第{i}页......