- 2025-01-22percona-toolkit系列工具（三）之pt-osc使用介绍
一、pt-osc介绍mysql大表DDL一直是数据库运维当中的痛点，在实际运维过程中，我们一般有三种选择：1、原生onlineddl2、pt-online-schema-change工具3、ghost工具本文我们主要介绍pt-online-schema-change工具的使用pt-online-schema-change的工作原理是创建要更改的表的空副本
- 2025-01-22如何在Python中高效地读写大型文件？
大家好，我是V哥。上一篇给大家介绍如何使用Python进行文件读写操作的方法，问题来了，如何读写的是大型文件，有没有什么方法来提高效率呢，不要捉急，这一篇来聊聊如何在Python中高效地读写大型文件。以下是在Python中高效读写大型文件的一些方法：一、逐行读取大型文件：defread_larg
- 2025-01-19堆相关
知识点chunk结构我们称由malloc申请的内存为chunk，这块内存在ptmalloc中被称为malloc_chunk结构体表示无论一个chunk的大小如何，处于分配状态还是释放状态，它们都使用一个统一的结构。虽然它们使用了同一个数据结构，但是根据是否被释放，它们的表现形式会有所不同/*This
- 2025-01-17FunASR - 语音识别模型训练和微调
文章目录一、关于FunASR核心功能模型仓库最新动态二、安装教程三、快速开始1、可执行命令行2、非实时语音识别2.1SenseVoice2.2Paraformer3、实时语音识别4、语音端点检测（非实时）5、语音端点检测（实时）6、标点恢复7、时间戳预测8、情感识别四、导出ONNX1、从命令行导
- 2025-01-12RAG中的文本切分策略详解
RAG中的文本切分策略详解1.选择RAG中的文本切分策略1.1不同的文本切分策略1.CharacterTextSplitter-这是最简单的方法。它默认基于字符（默认为""）来切割，并且通过字符的数量来衡量块的长度2.RecursiveCharacterTextSplitter-基于字符列表拆分文本。3.-基
- 2025-01-09分块的艺术：提升 RAG 效果的关键
聪明人往往很“懒”，但这种“懒”其实是高效的体现。他们总能找到解决复杂问题的最佳路径，用最少的力气获得最大的成果。在RAG系统中，这种高效的实现往往是通过“分块”来实现的。你可以把它想象成把一本厚书分成几章——这样一来，阅读和理解就轻松多了。同样地，分块技术把大段复杂
- 2025-01-04MongoDB集群中数据分布与分片
MongoDB集群中数据分布Chunk是什么在一个shardserver内部，MongoDB还是会把数据分为chunks，每个chunk代表这个shardserver内部一部分数据。chunk的产生，会有以下两个用途：Splitting：当一个chunk的大小超过配置中的chunksize时，MongoDB的后台进程会把这个chunk切分成更小的chunk，从
- 2025-01-03免费、无限制的Python翻译库translators
最近在找翻译库，试过了一些翻译库，要么限制字符，要么限制调用次数，最后发现translators这个库没有任何限制，还封装了不同的翻译网站，使用的技术是模拟在网页操作翻译然后获取结果，试了一下感觉效果还不错，代码如下：1.安装pipinstalltranslators2.使用importtranslatorsastsdef
- 2025-01-01JavaScript 中处理 100 万数据时确保性能和流畅度的几种方法
以下是在JavaScript中处理100万数据时确保性能和流畅度的几种方法：1.使用WebWorkers思路：将数据处理任务转移到WebWorkers，它可以在后台线程中执行代码，避免阻塞主线程，从而保证页面的流畅性。代码示例：<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-
- 2024-12-30针对于umi4的codeSplitting
makojscodeSplitting类型：false|{strategy:"auto"}|{strategy:"granular",options:object}|{strategy:"advanced",options:object}默认值：false指定代码拆分策略。对于SPA使用 auto 或 granular 策略，对于MPA使用 advance 策略。//auto策略{
- 2024-12-30python将列表拆分为指定的组
defchunk_list_by_groups(lst,groups):"""将列表lst拆分成包含指定组数的子列表"""#计算每组应该有多少个元素n=len(lst)//groups#计算剩余的元素个数remainder=len(lst)%groups#初始化结果列表result=[]#初始化起始索引
- 2024-12-25从互联网上下载文件python代码
importrequestsimporttracebackimportosdefdownload_file(url,filename):"""将链接中的数据存储入文件中。Args:url:链接。filename:文件路径名。Raises:KeyboardInterrupt:用户按^C引发异常。Exception:发生异
- 2024-12-24使用Python实现问答机器人，掌握OpenAI接口使用
streamapifromopenaiimportOpenAIclient=OpenAI(#Thisisthedefaultandcanbeomittedapi_key="sk-T1SC0pSurmOOhsdGu3P9WnHv5pDEhaz6GeMyENMfnsuKOQs7",base_url="https://api.openai-proxy.com/v1")re_stream=client.
- 2024-12-22MIT6.824----GFS
GFS组织架构客户端向MASTER节点发出请求，Master节点中有两张表，一是文件名字和chunkhandle的映射，二是chunkhandle和服务器列表的对应。chunkhandle就是文件存储块，每一个文件存储块可能同时分布在若干服务器上，文件被分为若干个chunkhandle存储起来。每个chunk会以Linux
- 2024-12-19本地大模型构建系列（一）：5、python调用ollama本地大模型（Windows 10）
第一步，安装Python依赖包：WIN+R,打开CMD，输入：pipinstallollama也可以使用镜像pipinstallollama-ihttps://pypi.tuna.tsinghua.edu.cn/simple第二步，启动ollama后，开始调用Ollama接口，以调用“qwen2.5:3b”为例启动大模型“qwen2.5:3b”：Win+R调出运行框，输入cmd，在cmd中输
- 2024-12-08读数据保护：工作负载的可恢复性07去重技术（上）
1. 去重技术1.1. 去重技术(deduplication)的全称为重复数据删除（或去除）技术，也叫作重删或删重(dedupe)技术，该技术会认定数据集里的重复数据，并将其消除，这个数据集可能含有我们在不同时间、不同地点所制作的多个备份1.2. 功能1.2.1. 去重技术至少能够把备份所占的磁盘空间降
- 2024-12-04堆基础（未完，持续更新）
堆利用入门堆管理器堆概述堆的概念堆是虚拟内存空间的一段连续的线性区域，提供动态分配的内存，允许程序申请大小未知的内存。再用户与操作系统之家按，作为动态内存管理的中间人，响应程序的申请内存请求，向操作系统申请内存，然后返回给程序。并且管理用户所释放的内存，适时归还给操作
- 2024-11-30初入堆的知识点
初入堆堆申请堆简介堆是用malloc函数申请使用的。是虚拟地址空间的一块连续的线性区域，能够提供动态分配的内存，允许程序申请大小未知的内存，在用户与操作系统之间，作为动态内存管理的中间人，能够响应用户的申请内存请求，向操作系统申请内存，然后将返回给用户程序，管理用户所释放的内存
- 2024-11-30js逆向实战之某某查响应数据解密
声明：本篇文章仅用于知识分享，不得用于其他用途网址：https://www.hanghangcha.com/securities-data解密逻辑看流量包，响应数据明显是加过密的。第一反应是去搜索interceptors，主要看响应拦截器，两处都没有。搜url关键字，只有一处。打断点，调试一番，发现没有跟解密相关的代码，行不
- 2024-11-27iconv 攻击
一个源于pwn的攻击,专门打file_get_contents一类的读文件函数.github上的脚步如下:#!/usr/bin/envpython3##CNEXT:PHPfile-readtoRCE(CVE-2024-2961)#Date:2024-05-27#Author:CharlesFOL@cfreal_(LEXFO/AMBIONICS)##TODOParseLIBCtoknowifpatched##
- 2024-11-25[Javascript] Encapsulate chunk operation
functionmain(){constdatas=newArray(10000).fill(null).map((_,i)=>i)functiontaskHanlder(_,i){console.log(i)}performChunkNode(datas,taskHanlder)}main()functionperformChunk(datas,task,scheduler){if
- 2024-11-25mongodb shard 分片集群基础概念
目录一、shard集群二、ConfigServer1、config.shards2、config.database3、config.collection4、config.chunks5、config.settings6、其他三、shard机制1、PrimaryShard2、ShardKey2.1范围分片2.2哈希分片2.3ShardKey重定义2.4版本约束2.5ShardKey
- 2024-11-23漏洞应用脚本
#!/usr/bin/python##findingtargets431337z:#gdb/usr/sbin/smbd`psauwx|grepsmbd|grep-vgrep|head-n1|awk'{print$2}'`<<<`echo-e"printsystem"`|grep'$1'#->togetsystem_libc_addr,ente
- 2024-12-13JC4004 – Computational Intelligence
Programmingassignment–Groupworkbyateamof4-5studentsTitle:JC4004–ComputationalIntelligenceNote:Thisassignmentaccountsfor30%ofthetotalmarkofthecourse.Deadline:SubmittheassignmentinMyAberdeenby19.December2024at23:00(Chi
- 2024-12-12Pytorch学习_03 Tensor（上）:基础计算单元
目录什么是TensorTensor的类型、创建及转换Tensor的类型Tensor的创建直接创建从NumPy中创建创建特殊形式的TensorTensor的转换Tensor的常用操作获取形状矩阵转秩(维度转换）形状变换增减维度小结什么是TensorTensor是深度学习框架中极为基础的概念，也是PyTroch