- 2024-09-02零拷贝IO
以下内容参考和转载自:小林coding,原来8张图,就可以搞懂「零拷贝」了。1、DMA 在没有DMA(直接内存访问)技术之前,调用read()读取磁盘文件的话,会有5个步骤:CPU向磁盘发起IO请求—>磁盘控制器将数据放到磁盘缓冲区中后产生一个IO中断—>CPU收到IO中断信号后将磁盘缓冲区数据拷贝到内
- 2024-05-16容器内存可观测性新视角:WorkingSet 与 PageCache 监控
作者:行疾、尝君、佑祎、六滔容器工作内存WorkingSet 概念介绍在Kubernetes场景,容器内存实时使用量统计(PodMemory),由WorkingSet工作内存(缩写WSS)来表示。WorkingSet这个指标概念,是由cadvisor为容器场景定义的。工作内存WorkingSet也是Kubernetes的调度决策判断内
- 2024-03-27零拷贝看这一篇就够了(详细图解)
目录编辑前言为什么要有DMA技术?传统的文件传输有多糟糕?如何优化文件传输的性能?如何实现零拷贝?mmapwritesendfile使用零拷贝技术的项目PageCache有什么作用?大文件传输用什么方式实现?总结前言磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存10倍
- 2023-09-26零拷贝并非万能解决方案:重新定义数据传输的效率极限
PageCache有什么作用?在我们前面讲解零拷贝的内容时,我们了解到一个重要的概念,即内核缓冲区。那么,你可能会好奇内核缓冲区到底是什么?这个专有名词就是PageCache,也被称为磁盘高速缓存。也可以看下windows下的缓存区:如图所示:零拷贝进一步提升性能的原因在于PageCache技术的使用。
- 2023-09-16零拷贝并非万能解决方案:重新定义数据传输的效率极限
PageCache有什么作用?在我们前面讲解零拷贝的内容时,我们了解到一个重要的概念,即内核缓冲区。那么,你可能会好奇内核缓冲区到底是什么?这个专有名词就是PageCache,也被称为磁盘高速缓存。也可以看下windows下的缓存区:如图所示:零拷贝进一步提升性能的原因在于PageCache技术的使用。
- 2023-07-28高效文件传输:小文件采用零拷贝、大文件采用异步io+直接io
一般会如何实现文件传输?服务器提供文件传输功能,需要将磁盘上的文件读取出来,通过网络协议发送到客户端。如果需要你自己编码实现这个文件传输功能,你会怎么实现呢?通常,你会选择最直接的方法:从网络请求中找出文件在磁盘中的路径后,如果这个文件比较大,假设有320MB,可以在内存中分配32KB
- 2023-07-17【高级知识】PageCache
参考:https://cloud.tencent.com/developer/article/1848933 https://blog.csdn.net/wilsonpeng3/article/details/109023124 MySQL·性能优化·PageCache优化管理https://cloud.tencent.com/developer/article/1684541 LinuxPageCache调优在Kafka中的
- 2023-03-16为什么Kafka的性能那么好?
ApacheKafka是一个高性能的消息队列,在众多的消息队列产品中,Kafka的性能是处于第一梯队的。Kafka的高性能主要取决于以下几方面:使用批量处理的方式来提升系统吞吐能力
- 2023-02-28Linux PageCache详解【转】
转自:https://www.sunliaodong.cn/2021/03/11/Linux-PageCache%E8%AF%A6%E8%A7%A3/应用程序要存储或访问数据时,只需读或者写”文件”的一维地址空间即可,而这个地址空间与存
- 2022-09-01阿里云logtail采集容器内日志到sls导致容器内存增加
现象nginx容器接入logtail后,因为服务请求量较大导致日志量快速增加,很快就触发了内存告警,甚至触发容器伸缩查看内存使用如图所示(单位:GB,统计参数:container_memory_working
- 2022-09-01kafka如何实现高性能IO
ApacheKafka是一个高性能的消息队列,问:如何实现高性能?使用批量消息提升服务端处理能力批量处理是一种非常有效的提升系统吞吐量的方法。在Kafka内部,消息都是以“批”为