首页 > 其他分享 >resurfaceio goreplay output-s3 minio 兼容处理

resurfaceio goreplay output-s3 minio 兼容处理

时间:2024-03-05 16:46:43浏览次数:30  
标签:minio s3 AWS export https output goreplay resurfaceio

实际上此问题与以前版本goreplay对于s3 的支持是一样的

参考处理

添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL,具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中

参考使用

export AWS_ACCESS_KEY_ID=minio
export AWS_SECRET_ACCESS_KEY=minio123
export AWS_ENDPOINT_URL=http://localhost:9000
export AWS_DEBUG=true
export AWS_FORCE_PATH_STYLE=true
export AWS_DISABLE_SSL=true
./gor-mac-amd64 --input-raw :9000 --input-raw-protocol binary --output-file s3://goreplay/%Y-%m-%d-%H-%M.gz

效果

说明

此问题以前我实际写过处理的方法,只是目前是基于resurfaceio 的goreplay 进行的调整,同时添加了新的环境变量,同时相关修改的包我已经push github 了ongfengliang/resurfaceio-gor 可以直接使用

参考资料

https://github.com/rongfengliang/resurfaceio-gor
https://github.com/rongfengliang/goreplay-new
https://github.com/resurfaceio/goreplay
https://www.cnblogs.com/rongfengliang/p/13341248.html
https://github.com/rongfengliang/goreplay-new/blob/resurface/s3_reader.go

标签:minio,s3,AWS,export,https,output,goreplay,resurfaceio
From: https://www.cnblogs.com/rongfengliang/p/18054364

相关文章

  • GNS3打开工程报错 --Dynamips error xxx:unable to create UDP NIO 解决方法
    GNS3打开工程报错--Dynamipserrorwhenrunningcommandxxx:unabletocreateUDPNIO报错原因:GNS3(v2.2)serverUDP连接端口号使用了10000-20000,NvidiaGeForceExperience也使用了相同的UDP端口号,发生冲突。解决方法:方法一:卸载NvidiaGeForceExperience,此过程不会......
  • MDS300-16-ASEMI整流模块MDS300-16参数、封装、尺寸
    编辑:llMDS300-16-ASEMI整流模块MDS300-16参数、封装、尺寸型号:MDS300-16品牌:ASEMI封装:M25最大重复峰值反向电压:1600V最大正向平均整流电流(Vdss):300A功率(Pd):大功率芯片个数:6引脚数量:5类型:模块、大功率正向浪涌电流:500A正向电压:1.35V最大输出电压(RMS):封装尺寸:如图工......
  • CSS3有哪些新特性
    CSS3引入了很多新特性,比如:1.选择器:CSS3引入了新的选择器,如伪类选择器、伪元素选择器等,使得选择元素更加灵活和精确。2.边框圆角:CSS3允许通过 border-radius 属性为元素的边框添加圆角,创建圆形、椭圆形或具有不同角度的矩形边框。3.盒阴影:使用 box-shadow 属性,可以为元素......
  • 【总结】对大量函数进行trace调用流程+国际AIS3题
    现在混淆的主要目的之一就有让逆向分析人员不清楚函数的调用流程,给你一堆函数,加了高强度的OLLVM,更不能看了。那么Trace跟踪技术就显得很重要的,如果清楚了函数调用流程,那么逐个分析,距离成功不就很快了。万事开头难,逆向程序难在不知道从哪开始。前几天做了一道AIS3的题目,内含50个......
  • dremio 从S3StoragePlugin看一个存储插件的开发模式
    以前对于S3StoragePlugin有过简单的说明,以下结合S3StoragePlugin说明下如何开发一个存储扩展一些标准模式选择实现的存储插件的接口比如s3的因为实际上就是文件系统,所以S3StoragePlugin实现了FileSystemPlugin接口的,同时可以复用不少已有的实现(比如表创建,修改,删除相关的),......
  • MDS300-16-ASEMI电源控制柜MDS300-16
    编辑:llMDS300-16-ASEMI电源控制柜MDS300-16型号:MDS300-16品牌:ASEMI封装:M25最大重复峰值反向电压:1600V最大正向平均整流电流(Vdss):300A功率(Pd):大功率芯片个数:6引脚数量:5类型:整流模块、整流桥正向浪涌电流:600A正向电压:1.35V最大输出电压(RMS):封装尺寸:如图工作温度:-40......
  • kettle从入门到精通 第四十七课 ETL之kettle mongo output 写入
    1、上一节课我们学习了mongoinput读取步骤,本节课我们一起学习下mongoout写入步骤,该步骤可以将数据写入到mongo中,如下图所示。 2、 配置mongo连接,有两种方式,如截图所示。ConnectionString:如StringconnectionString="mongodb://username:password@localhost:27017/myda......
  • lazarus3.0 /fpc3.3.1编译某些控件会出现:Error: Forward declaration not solved xxx
    最近用lazarus3.0/fpc3.3.1时发现原来在lazarus2.2.6/fpc3.2.2能编译安装的控件出现类似下面的提示codebot.text.xml.pas(129,10)Error:Forwarddeclarationnotsolved"NewDocument:IDocument;"解决方法:本例子参照DocumentCreate:IDocument,在实现部分编写过程。{$i......
  • docker安装minio
    minio安装​ ##拉取miniodockerpullminio/minio​ 运行镜像dockerrun-p9000:9000-p9090:9090--nameminio\-d--restart=always\-eMINIO_ACCESS_KEY=minio\-eMINIO_SECRET_KEY=yishiqingcheng\-v/usr/local/minio/data:/data\-v/usr/local/minio......
  • S3服务器上传问题
    客户S3环境有升级变迁,然后之前上传文件服务器出现异常问题生产环境S3服务器文件上传异常原因及解决方案:上传文件-异常信息如下:com.amazonaws.SdkClientException:Unabletoverifyintegrityofdataupload.Clientcalculatedcontenthash(contentMD5:EWsFdgDklAxX7zec1......