S3基准测试工具 - Warp使用简介

天翼云开发者社区
• 阅读 182

本文分享自天翼云开发者社区《S3基准测试工具 - Warp使用简介》,作者:y****n

1.Warp⼯具简介 warp 是⼀款开源的S3基准测试⼯具,开源S3项⽬minio下的⼀个⼦项⽬,可以对兼容S3语义的服务进⾏基准测试。

2.Warp主要功能及配置 常⽤功能有mixed,put,get,analyze等; mixed:是混合读写模式,可以指定put、get、delete、stat类型的请求的不同⽐例。 put:只进⾏上传请求。 get:先上传部分数据进⾏预热,然后只进⾏下载请求。 analyze:将其他模式的输出结果进⾏分析,warp数据取样间隔5s 例:mixed 混合读写1:9 warp mixed --put-distrib=90 --get-distrib=10 --stat-distrib=0 --delete-distrib=0 --host=www.s3.com -- bucket=bucket-test-4k --access-key=s3@Test@12AK --secretkey=s3@TestSK@12SK --obj.size=4KiB -- duration=10m --concurrent=40 --benchdata=4kmixed-9w1r -q --disable-multipart -- nocleaer 其中: --put-distrib:put请求百分比 --get-distrib:get请求百分比 --stat-distrib:stat请求百分比 --delete-distrib:delete请求百分⽐,要求必须⼩于put请求百分⽐ --host:访问的s3域名 --bucket:指定bucket名称,若该桶不存在则会先创建,默认为warp-benchmark-bucket --access-key:用户ak --secret-key:用户sk --obj.size:对象大⼩ --duration:请求持续时间 --concurrent:并发线程数 --benchdata:⽣成的⽂件前缀,后缀为csv.zst,⽤于数据分析 --disable-multipart:不使⽤分段上传 --noclear:请求结束不清理对象

其他参数可使⽤warp mixed --help命令查询.

另外,可以使⽤环境变量指定某些参数,例如WARP_HOST 、 WARP_ACCESS_KEY 、WARP_SECRET_KEY 等。

put、get请求与mixed类似,将关键字改为put或者get,不携带--xxx-distrib参数即可。

3.Warp具体使⽤ warp⽀持单机模式和分布式模式。 1.单机模式: a.下载并安装warp,地址https://github.com/minio/warp b.启动warp服务,warp默认端⼝为7761 nohup warp client 10.24.169.8:7761 & c.直接执⾏warp命令即可

2.分布式模式: 在不同服务器上安装warp,并启动warp服务,在其中1台上执⾏命令即可,注意执⾏时需要指定所有的warp客⼾端 warp put --warp-client=10.24.169.8:7761,10.24.169.9:7761 --host=10.24.255.2:80 --bucket=warp-multi-write-100m --access-key=tester002@Test@12AK --secretkey=tester002@TestSK@12SK --obj.size=100MiB --duration=5m --concurrent=8 --benchdata=100M-multi-write -q --disable-multipart --noclear

3.分析数据 warp analyze --analyze.v --analyze.out=filename.csv 100M-multi-write.zst

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
MyRocks vs InnoDB 的性能基准测试
导读作者:VadimTkachenko原文:https://www.percona.com/blog/2018/04/30/alookatmyrocksperformance/翻译:菜鸟盟(hades、bruce、冰焰)本文建议横屏阅读,效果更佳In
Wesley13 Wesley13
3年前
MySQL基准测试(三)
MySQL基准测试(三)开源工具与实例演示针对web应用abab是一个ApacheHTTP服务的基准测试工具。http\_loadhttp\_load是一个针对Web服务器测试工具。JMeter是基于Java的应用程序,测试Web应
Stella981 Stella981
3年前
Coding and Paper Letter(三十九)
资源整理。1Coding:1.Python库benchmarkrios3,用于在访问S3上的文件时对Rasterio/GDAL的多线程性能进行基准测试的工具。benchmarkrios3(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgit
Stella981 Stella981
3年前
Beetl性能再次测试
在某个“新模板引擎”的基准测试增加Beetl,测试结果如下,可以看到Beetl还是很领先,每秒渲染80685次(我的机器是MacPro,CoreI7)BenchmarkModeCntScoreErrorUnitsBeetl.benchmarkthrpt1
Wesley13 Wesley13
3年前
Java基准测试利器OpenJDK
什么是基准测试?这里说道的基准测试Benchmark其实是微基准测试MicroBenchmark。简单点说,就是我们看到或听到很多人说什么方式去使用Java的性能好呀,不要猜,动手来测吧!详细的概念可以参见:https://github.com/google/caliper/wiki/JavaMicrobenchmarks
支持S3协议的S3cmd工具简单使用
支持S3协议的S3cmd工具简单使用
芝士年糕 芝士年糕
2年前
windows安装minio
一、概述最近在学习使用minio,在这里对自己的学习过程做一个记录和总结,方便自己查阅。Minio是GlusterFS创始人之一AnandBabuPeriasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目,采用Golang实现,客户端支持Java、Python、Javacript、Golang语言。Minio可以做为云存储的
javalover123 javalover123
1年前
Java代码性能测试实战之ContiPerf
最近测试一个开源项目,发现生成的全局id有重复,方法加上synchronized提交PR后,有些同行对性能有疑虑,就准备做个代码性能测试。Java基准性能测试一般用JMH比较多,但是官方建议性能测试单独一个项目,感觉麻烦了点。发现ContiPerf可以方便的设置执行次数、时长、线程数、预热时长,还有Html格式报告,感觉还比较适合,基于Junit
谈谈JSF业务线程池的大小配置 | 京东物流技术团队
本文旨在通过一个简化场景(“单服务应用”)下的负载测试,为“JSF业务线程池大小配置”提供基准测试结果,并形成一些普遍适用的结论。
绣鸾 绣鸾
1年前
QSpace Pro 4 for Mac(多面板文件管理器)
是一个干净高效的多面板文件管理器,也可以连接到FTP,SFTP,WebDAV,Dropbox,OneDrive,GoogleDrive,AmazonS3(和S3兼容),AliyunOSS。它具有与Finder相同的工作原理和界面视图,但也支持更灵活和实用的
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
660
粉丝
14
获赞
40