• 2024-12-19[掌握数据的力量:使用Hologres进行实时向量数据库查询]
    #掌握数据的力量:使用Hologres进行实时向量数据库查询##引言在大数据时代,各行各业都在不断追求更快速、更高效的数据分析方式。Hologres为我们提供了一种实时数据仓储服务,支持海量数据的实时写入、更新、处理和分析。与Proxima深度集成的Hologres现已支持向量数据库功
  • 2024-12-15spark如何自定义函数
    UDF:一对一的函数【UserDefinedFunctions】substr、split、concat、instr、length、from_unixtimeUDAF:多对一的函数【UserDefinedAggregationFunctions】聚合函数count、sum、max、min、avg、collect_set/listUDTF:一对多的函数【UserDefinedTabularFunctions】ex
  • 2024-12-15spark将数据输出到hive或mysql中
    hive启动以下服务:start-dfs.shstart-yarn.shmapred--daemonstarthistoryserver/opt/installs/spark/sbin/start-history-server.shhive-server-manager.shstartmetastoreimportosfrompyspark.sqlimportSparkSession"""-----------------------
  • 2024-12-13spark读取hive和mysql的数据
    读取hive数据本质上:SparkSQL访问了Metastore服务获取了Hive元数据,基于元数据提供的地址进行计算启动以下服务:start-dfs.shstart-yarn.shmapred--daemonstarthistoryserver/opt/installs/spark/sbin/start-history-server.shhive-server-manager.shstartmetastore
  • 2024-12-13spark的共享变量
    因为RDD在spark中是分布式存储1、python中定义的变量仅仅在driver中运行,在excutor中是获取不到值的——广播变量2、若定义了一个变量进行累加,先分别在driver和excutor中进行累加,但是结果是不会主动返回给driver的——累加器BroadcastVariables广播变量driver中存放python
  • 2024-12-07CF2045H - Missing Separators 题解
    CF2045H-MissingSeparators题面您有一本字典,它是按字母顺序排列的多个单词的列表。每个单词都由大写英文字母组成。您想打印这本字典。然而,打印系统出现了一个错误,列表中的所有单词都紧挨着打印,单词之间没有任何分隔符。现在,您最终得到的字符串\(S\)是字典中所有单词按照
  • 2024-12-01链式二叉树
    引言在探讨数据结构时,我们不难发现,虽然普通的链式二叉树在存储数据上可能不如前面用数组模拟二叉树直观,但其独特的结构为后续的复杂数据结构奠定了基础。特别是当我们谈及搜索问题时,搜索二叉树以其高效的搜索性能脱颖而出,与二分查找法有着异曲同工之妙。但是,二分查找法在实际
  • 2024-11-29python计算函数开销时间,对象去重
    python基础计算函数开销时间对象去重计算函数开销时间importtimedeftimer(func):definner():t1=time.time()func()t2=time.time()print(f'{func.__name__}用了{t2-t1}毫秒')returninnerclassTimer:
  • 2024-11-28【日记】新看的书有点难 QvQ(563 字)
    正文我以为简历投递的截止时间是28号。结果今天不放心又去点了一下投递,发现已经过截止时间了。也就是说——昨天我在截止时间前2分钟把简历投了出去。而那个时候我以为至少还有2天时间……社招,我感觉希望不大,而且投出去的时间太晚了,估计后面的人都不会看了。筛都
  • 2024-10-08接口自动化如何处理接口依赖问题
    一、最近研究接口自动化发现处理接口依赖有好几种方式1.全局变量首先设置none,然后在上一个接口取出来,用的时候global声明一下2.setUp:放到setUp里面3.利用反射原理:先设置为None,然后setattr(),用的时候在getattr()4.放到缓存里面os.environ:用的时候在取出来,os.environ['t
  • 2024-08-13Django 深入理解WSGI协议
    起步惭愧啊,惭愧啊,距离上一篇这个系列的文章已经是半年前的了,随着Django2.0的发布,感觉之前分析的1.10.5版本似乎有点老了,我看了一下,好在和我前面文章分析的内容差异不大,基本上也是可以就着前面的分析内容来品尝最新的django代码。那我接下来阅读的版本就从当前能获取的2.0
  • 2024-08-02为什么要设置 os.environ[“PYTHONHASHSEED“] = “0“,这样做具体会影响哪些随机值?
  • 2024-05-11Python环境变量设置与读取
    ★环境变量基本概念环境变量定义 环境变量是操作系统中存储有关操作系统配置信息和应用程序运行环境的动态值的一种机制。环境变量的主要作用是为正在运行的进程提供配置信息,帮助程序找到所需的资源或者确定程序运行的方式。 在操作系统中,每个进程都有自己的环境变量集合。
  • 2024-04-12进阶 stack smashing--canary 报错利用 && environ泄露栈地址
    进阶stacksmashing--canary报错利用&&environ泄露栈地址这部分是对进阶stacksmashing的使用,以及对environ的认识,我们可以看一个buu上具体的题目题目连接https://buuoj.cn/challenges#wdb2018_guess看一下保护,pie没有开64位ida载入看一下那么在ida里面看见还是挺麻
  • 2024-04-08详解环境变量
    大家好,我是knight-n。本篇文章将会为大家介绍环境变量。目录什么是环境变量环境变量的作用常见的环境变量系统调用getenvputenv​编辑相关命令 echoexportenvunsetset环境变量的组织方式获取环境变量总结什么是环境变量环境变量是指在操作系统中用来指定
  • 2024-04-06文件包含之/proc/self/environ
    在一次实践中,发现拥有文件包含漏洞,但是无法getshell,进而搜索到一个新的方法/proc/self/environ,通常情况下文件包含可以包含日志文件getshell,这里新学习一个/proc/self/environLinux中/proc/目录下保存着本机所有进程号,每个进程号为一个目录,其中保存着该进程的相关信息,其中常见
  • 2024-03-04WSGI介绍:Python 首先了解
    1.1什么是WSGI首先介绍几个关于WSGI相关的概念WSGI:全称是WebServerGatewayInterface,WSGI不是服务器,python模块,框架,API或者任何软件,只是一种规范,描述webserver如何与webapplication通信的规范。server和application的规范在PEP3333中有具体描述。要实现WSGI协议,必须同时实
  • 2024-02-061 使用venv创建Python虚拟环境
    Python从3.3版本开始,自带虚拟环境配置包venv。虚拟环境下通过pip命令下载的Python包不会影响到系统中的Python,可以做到项目之间环境的分离(目前Pycharm新建环境默认使用这种方式)。创建环境py-mvenvenviron上述命令创建虚拟环境environ。激活环境首先进入Scripts文件夹:cde
  • 2024-01-16os.environ和os.putenv的区别
    os.environ和os.putenv()都是Python中用于处理环境变量的函数/属性,但它们在功能和使用方式上有一些区别:一设置环境变量的范围:os.environ:是一个字典,表示当前Python进程的环境变量。您可以使用类似字典的操作符来设置和获取环境变量的值,如os.environ['VARIABLE_NAME']='
  • 2024-01-14Django 源码分析(二):wsgi & asgi
    Django源码分析(二):wsgi&asgi说明:上一节主要讲述了django项目的启动,后期主要会根据django请求的生命周期进行分析;参考文章:https://zhuanlan.zhihu.com/p/95942024参考文章:https://zhuanlan.zhihu.com/p/269456318附:生命周期参考图;第一步:浏览器发起请求补充:第一步和第
  • 2023-11-28pytest + yaml 框架 -39.多账号操作解决方案
    前言最近有小伙伴提到,有写场景需要用到2个账号来回切换操作该如何解决。(备注:从v1.2.4以后新版本不再公开,新功能内部VIP学员可以使用,公开版本仅解决bug,不提供新功能了。)先获取账号token前面教程有讲到全局登录一次,后面所有的请求都会拿着全局登录的账号token去访问请求。现在
  • 2023-08-03Linux环境编程day01--库与环境变量
    UNIX系统简介:1970年于美国贝尔实验室,作者肯.汤普逊和丹尼斯.里奇UNIX是最早的多用户、多任务、支持多种CPU架构,高稳定性、高可靠性、高安全性既能构建大型关键型业务系统的服务器(银行、电信公司等),也能支持移动嵌入式设备Minix是一种开源的基于微内核架构的类UNIX计算机操作
  • 2023-08-01wsgiref
    #服务wsgi协议的web服务器,django的web服务用的就是它#相当于个socket服务端,可以接收客户端发送过来的请求,处理,返回给客户端fromwsgiref.simple_serverimportmake_serverdefmya(environ,start_response):print(environ)start_response('200OK',[('Conten