首页 > 其他分享 >6-爬虫-数据存储

6-爬虫-数据存储

时间:2024-07-01 22:34:00浏览次数:14  
标签:存储 data writer 爬虫 content file csv 数据

分类:

  文本类型数据:txt、csv、execl、数据库

  多媒体类型:图片、音乐、视频

"""
y音频存储
"""
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
url = "https://sf-sycdn.kuwo.cn/f9b2e272af8bc91a6a815b70d9decaf1/65997b0c/resource/n2/42/67/550491908.mp3"

response = requests.get(url,headers=headers)

#使用content来存储音频
content = response.content
#保存音频
with open("music.mp3","wb") as file:
    file.write(content)

 

csv格式存储

"""
csv 格式
"""

import csv

data = [[1,2,3],[2,3,4],[3,4,5]]

with open("data.csv", "w", encoding="utf-8") as file:
    #构建csv对象
    csv_writer = csv.writer(file)
    #将data数据每一行写入csv文本里
    csv_writer.writerows(data)
    
#输出
1,2,3

2,3,4

3,4,5

 

标签:存储,data,writer,爬虫,content,file,csv,数据
From: https://www.cnblogs.com/littlecc/p/17949991

相关文章

  • 8、爬虫-beatifulsoup-bs4
     beatifulsoup的概念:BeautifulSoup就是Python的一个HTML或XML的解析库,可以用它方便地提取页面的数据。  1、安装bs4:pipinstallbs42、使用:frombs4importBeautifulSoup3、创建对象:BeautifulSoup(文本,“html.parser”)  #html.parser告诉解析器这是个html文本4、b......
  • 10、爬虫-requests的使用-session()、防盗链
    #会话-cookie的使用requests.session()"""先登录网站、找到llogin相关的url得到cookie、拿到formatData中的信息带着cookie去请求url使用cookie去访问(session-会话)该网站其它内容的时候都会带着cookie"""importrequests#创建会话session=requests.session()#用户......
  • 9、爬虫-xpath-selenium爬取网页隐藏元素
    安装:pipinstalllxml1、导入:fromlxmlimportetree2、创建对象:  tree=etree.XML(xml文件)  tree=etree.HTML(html文件)  等3、找标签:  tree.xpath("//book/name/text()")4、语法:  text()表示取节点标记的文字  tree.xpath("//book/publisher[3]/text()......
  • 13、爬虫-协程-asyncio和异步操作-aiohttp
    概念:当程序sleep或者input、output等待的时候、cpu是处于堵塞状态的、cpu此时是不再为我们的代码服务的、所以协程就是当遇到了前面这种情况的时候可以选择性的切换到其他任务上 同步协程:asyncio当程序在睡眠的时候注意加上:awaitasyncio.sleep(2)"""多任务协程asyncio......
  • 14、爬虫-异步协程爬取西游记小说-aiohttp-aiofiles
     注意:有关所有的IO操作都要加上:await挂起 """https://dushu.baidu.com/pc/detail?gid=4306063500#小说网站https://dushu.baidu.com/api/pc/getCatalog?data={%22book_id%22:%224306063500%22}#可以拿到每个章节的bookid、cid(每个章节的id)、这里%22相当于"号htt......
  • 39、k8s-数据存储-基本存储-EmptyDir(空目录)
    EmptyDirEmptyDir(空目录)是最基础的Volume类型、一个EmptyDir就是Host上的一个空目录、EmptyDir是在pod分配到Node时创建的、它的初始化内容时空的、并且无需指定宿主机上对应的目录文件、因为kubernetes会自动分配一个目录、当pod销毁时、EemptyDir中的数据也会备永久的删除。......
  • 45、k8s-数据存储-配置存储-secret-(用于存储配置信息的-比configMap安全)-密文存储
    作用:用于存储敏感信息、例如密码、密钥、证书等实验:创建secret、再将secret挂载到容器里去、使用容器查看secret存储的信息1、先使用base64对数据进行编码·echo-n'admin'|base64---------------------------YWRtaW4=---------------------------......
  • 44、k8s-数据存储-配置存储-configMap-(用于存储配置信息的)
    概念:ConfigMap是一种比较特殊的存储卷、它主要的作用是用来存储配置信息的其模板如下:1、创建配置卷的yaml文件:vimconfigmap.yaml-------------------------------------------------------apiVersion:v1kind:ConfigMapmetadata:name:configmapnamespace:devdat......
  • 41、k8s-数据存储-基本存储-NFS(网路文件存储系统)
    HostPath可以解决数据持久化的问题、但是一旦node节点故障了、pod如果转移到别的节点、又会出现问题、此时需要准备单独的网络存储系统、比较常用的有:·NFS·CIFSNFS是一个网络问卷存储系统、可以搭建一台NFS服务器、然后将pod中的存储直接连接到NFS系统上、这样的话......
  • 40、k8s-数据存储-基本存储-HostPath(节点主机存储)
    HostPath即使将node主机中的一个实际的目录挂载到pod中、以供容器使用、这样的设计就可以保证pod销毁了、但是数据依然可以存在Node主机上案例:1、创建yaml文件:----------------------------------------------------------apiVersion:v1kind:Podmetadata:name:volume......