首页 > 其他分享 >4、爬虫-数据获取之双R(CS/BS)与chrom检查工具使用-requests请求

4、爬虫-数据获取之双R(CS/BS)与chrom检查工具使用-requests请求

时间:2024-07-01 22:34:59浏览次数:19  
标签:请求 get url 之双 headers BS requests chrom response

模拟客户端请求服务端:

  ·模拟请求行和请求头、请求体

 

"""
模拟客户端请求
获取静态数据和动态数据
使用python自己去构造请求
使用request
"""
"""
请求的构成:
请求行、请求头、请求体
"""

###########################静态页面加载请求的###############################
import requests
import json
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"

}
url = "https://www.xinpianchang.com/discover/article-49-0?utm_source=xpcWeb&utm_medium=navigatorCate&index=11"

#用于发送 HTTP 请求、向url发送请求、将返回结构存在response中
response = requests.request("GET",url,headers=headers)

#以text格式输出请求到的内容
print(f"{response.text}")

#requests.get用于 发送特定的请求(如.get、.post、.put)
#requests.get(url,headers=headers)



####################动态网页的请求、如获取评论区的内容#############################
#先获取评论区的url
comment_url = "https://www.xinpianchang.com/api/xpc/comments/article/v2?article_id=12850027"

#使用get请求
response_comment = requests.get(comment_url,headers=headers)
#将请求到的内容输出text格式或json格式
#print(f"{response_comment.text}")
print(f"{response_comment.json()}") #注意只有内容的格式是字典的才能以json格式输出

标签:请求,get,url,之双,headers,BS,requests,chrom,response
From: https://www.cnblogs.com/littlecc/p/17949667

相关文章

  • 8、爬虫-beatifulsoup-bs4
     beatifulsoup的概念:BeautifulSoup就是Python的一个HTML或XML的解析库,可以用它方便地提取页面的数据。  1、安装bs4:pipinstallbs42、使用:frombs4importBeautifulSoup3、创建对象:BeautifulSoup(文本,“html.parser”)  #html.parser告诉解析器这是个html文本4、b......
  • 【Websocket】解析帧frame.c源码分析
    0.简介本文主要分析https://github.com/mortzdk/websocket中解析帧相关函数1.predict.h#ifndefwss_predict_h#definewss_predict_h#ifdefined(__GNUC__)||defined(__INTEL_COMPILER)/*__builtin_expect是GCC提供的一个内建函数,用于向编译器提示某个条件在大多......
  • 实战篇——SQL注入sqli-labs-master靶场实战一
    实战篇——SQL注入sqli-labs-master靶场实战(1)SQL注入的原理没有对用户的输入进行合法性判断或过滤,而是直接将其拼接至SQL查询语句当中作为命令执行,从而导致非法操作。SQL注入的检测也就是闭合方式的判断,根据报错信息的不同情况可以分为3类——(1)有报错信息(2)无报错信息,但......
  • 鸿蒙技术之WebSocket连接详解
    WebSocket连接详解WebSocket是一种在单个TCP连接上提供全双工通信信道的协议,它允许服务器主动向客户端推送数据,非常适合实时通信和数据交换频繁的应用场景。以下是WebSocket连接的详细步骤和知识点:1.创建WebSocket对象首先,需要通过createWebSocket()方法创建一个WebSock......
  • ​RAG与LLM原理及实践(7)--- Chroma query应用层策略及实现原理
    背景Chromaquery底层查询的 query思想是相同的,甚至在vectordb的世界中,都大同小异。如果你有看前面写的  RAG与LLM原理及实践(5)---Chromaquery源码分析应该比较清楚query的运作原理,说直白就是在memory或是disk中通过暴力查询比较与HNSW算法(NSW算法的变种,分层可导航......
  • RAG与LLM原理及实践(6)--- Chroma collection及存储逻辑分析
     背景在chromavectordb的世界中,除了对query的理解,另外就是需要深入理解chroma的运行模式,chroma运行时,提供了 local模式,server-client模式,这些在应用中固然重要,但从实现原理上说,其实就是通过http服务,在固定端口如11344上请求数据。但是在这之前,需要深入了解并理解coll......
  • RAG与LLM原理及实践(4)--- 语义相似度距离衡量的三种方式chroma示例
    语义相似度的计算是一个比较复杂的过程。今天打算先比较详细的介绍下几个相似度的距离衡量算法。相似度的排名衡量,在向量数据库vectordb的query中,被大量使用。还是直接上干货,理解下背后的逻辑和概念比较重要,后面看看源码 chromavectordb是怎么处理这个过程的。1)co......
  • 详细分析css float 属性以及position:absolute 的区别
    CSS中的float属性和position:absolute属性都可以用来定位元素,但它们在布局和行为上有着根本的区别。下面是对这两个属性的详细分析:float属性float属性主要用于让元素围绕文本流动,通常用于图像或文本块的布局。它有四个可能的值:left、right、none(默认值)、以及inherit。布局......
  • sql-labs通关笔记(上)
    sql-labs通关笔记(上)这里我们先只讲解less-1到less-9联合查询注入Less-1:GET-Errorbased.Singlequotes-string界面在url中加入?id=1?id=-1判断注入点使用’或\来判断是否存在注入点payloadhttp://127.0.0.1/sqli/Less-1/?id=-1'报错信息near''-1''LIMIT0......
  • sqli-labs基础篇(1-22)
    ‍less-1字符型判断是否存在sql注入​?id=1and1=1--+​​​​?id=1'and1=1--+​​​​?id=1'and1=2--+​​​说明存在sql注入,并且注入类型为字符型注入联合注入先判断列数​?id=1'orderby3--+​有回显​​​?id=1'order......