JAVA + LR实现apache流媒体的性能测试

Wesley13
• 阅读 552

最近的一个项目,视频点播系统,使用apache实现的流媒体服务器。其实准确的说叫做伪流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。

让我简单的描述就是仍然是HTTP下载,播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。视频点播类系统的性能测试,说简单了主要就是模拟大量用户去看视频。服务端监控整体性能,客户端关注各自表现。这里难点主要在于如何模拟大量用户观看视频?如何判断各客户端展现?

多客户端的模拟无外乎3种方法:

1.全公司总动员,一起看。

2.一台机器开多个播放页面(或者是一个页面上嵌入多个播放器),调用多台机器。

3.抛弃客户端的解码播放过程,直接想法下载视频文件。

第一种方法不用说,虽然最真实,但太原始没有技术含量,如果是小公司人还不一定够。

第二种方法在需要测试的用户数不大时还可以,否则会占用较多资源,而且技术含量也较低。这种方式,一台机器上能模拟的用户数很有限,因为CPU会很快成为瓶颈。

第三种方法最高效,在千兆网环境下,一台机器可以模拟很多路用户,此时网络带宽是瓶颈(如果带宽更大,估计硬盘IO就是瓶颈了)。但是没有解码和播放,如何判断客户端的效果呢?两种方式,一是对比下载速度和码率,理论上只要下载速度足够就可以了;二是测试过程中也可以打开几个真实的播放窗口来验证播放效果,因为压力在服务端,可以认为每个客户端都是等价的。

本文要讲的就是第三种测试方法。

以前还测过FMS的流媒体,网上可以找到现成的工具来实现本方法,只要调用就可以了。但HTTP的这次也搜了两天,好像还真没有,只好自己动手了。看来最高效的方法,实现起来却是最麻烦的。基本思路是JAVA实现下载功能,用LR的JAVA Vuser实现多用户的控制。动手前先给自己整理了一个需求

功能:

模拟下载√

播放列表√

下载速度记录:总平均速度、每秒速度√

*伪装成播放器进行连接

*客户端限速

测试结果:

apache限速

下载速度

文件完整

功能扩展

jar包或者exe文件传参(播放列表)

打对钩的是已经实现了,带星号的是未实现、也不一定需要实现的高级功能。通过测试程序,需要得到的结果是下载是否正确完成?下载速度是否足够?apache的限速模块是否起作用(如果开启)?这里可能会有个问题,如果下载程序突破了apache的限速,那有可能是测试程序的问题,这就引出了上面的高级功能“伪装成播放器”。

需要软件测试资料的小伙伴,可以来加群:747981058。群内会有不定期的发放免费的资料链接,这些资料都是从各个技术网站搜集、整理出来的,如果你有好的学习资料可以私聊发我,我会注明出处之后分享给大家。

下面直接贴代码,说明尽量放到注释里。

下载类,提供静态方法。

package com.test; import java.io.*; import java.net.*; import java.util.*; public class DownloadFile { /* *下载指定URL的文件 *userid是用于保存本地文件的标识 **/ public static int getHttpFileByUrl(String address, String userid) { int bufferSize = 1024; int size = 0; byte[] buf = new byte[bufferSize];

/* *下载时间字符串 *用于文件标识 *格式201210260130 **/ Date date = new Date(); SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss"); String downloadTime = formatDate.format(date);

/* *计算下载速度相关 */ int totalDownloadSize = 0; int lastDownloadSize = 0; long lastCheckTime = 0; long startDownloadTime = 0; int sec = 0;

/* *下载和计算过程 */ try { URL url = new URL(address); URLConnection conn = url.openConnection(); BufferedInputStream bis = new BufferedInputStream(conn.getInputStream()); FileOutputStream fos = new FileOutputStream("e: est estvideo" + "_" + downloadTime + "_" + userid);

System.out.println("File Size:" + conn.getContentLength()/1024 + "KB");

startDownloadTime = System.currentTimeMillis(); lastCheckTime = startDownloadTime;

while ((size = bis.read(buf)) != -1) { fos.write(buf,0,size); totalDownloadSize += size;

/* *计算每秒下载速度 */ if (System.currentTimeMillis() - lastCheckTime > 1000) { System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB"); lastCheckTime = System.currentTimeMillis(); lastDownloadSize = totalDownloadSize; sec++; } }

System.out.println("Vuser " + userid + " Download Completed!"); System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");

fos.close(); bis.close();

}catch (MalformedURLException e) { e.printStackTrace(); }catch (IOException e) { e.printStackTrace(); }

return totalDownloadSize/1024; } }

测试驱动。

import com.test.*; import java.util.*; import java.io.*; public class DownloadDrive { public static void main (String[] args) {

//System.out.println("test"); //DownloadFile.test();

/* *调用者测量 *自行实现 */ int DownLoadSize = 0; double DownLoadTime = 0; int Speed = 0;

String url; ArrayList urlList = new ArrayList(); /* *读取待下载的URL地址 *保存到list中 */ try{ BufferedReader br = new BufferedReader(new FileReader("url.txt")); while((url = br.readLine()) != null){ urlList.add(url); } }catch(IOException ie){ ie.printStackTrace(); }

System.out.println("Total URLs: " + urlList.size());

/* *依次下载list中的文件 */ for(int i = 0; i < urlList.size(); i++){ url = (String)urlList.get(i); System.out.println(url); //传入url和每个调用者的标识 DownloadFile.getHttpFileByUrl(url, "1"); } }

}

将待下载的URL保存到url.txt中,每行一个地址。文件放到DownloadDrive.class同目录中。

到这,主要代码已经实现了。下一步需要做的是和LR整合,用LR的Java Vuser对下载功能进行控制,模拟多用户。其实也就是重写一个测试驱动,只不过这个驱动是需要LR内部方法了,应该没有什么技术上的难点了。

接下来,通过LoadRunner来实现多线程的模拟和控制。

新建LR的JAVA Vuser脚本,这里可以直接进行JAVA编码,又可以调用LR的内部方法,如事务、思考时间、集合点等等。到了这步已经没有任何难点了,开发人员只要花1个小时了解下LR的基本使用和常用方法即可,测试人员如果不会JAVA……那还是算了吧。

Action.java内容如下:

import lrapi.lr; import com.test.*; import java.util.*; import java.io.*; public class Actions { public int init() throws Throwable { return 0; }//end of init public int action() throws Throwable {

/* 调用者测量 */ int downloadSize = 0; int downloadTime = 0; long startTime = 0; long endTime = 0; int speed = 0; int vid; vid = lr.get_vuser_id(); /* 从url文件生成arraylist */ String url; ArrayList urlList = new ArrayList(); try{ BufferedReader br = new BufferedReader(new FileReader("url.txt"));      while((url = br.readLine()) != null){    urlList.add(url); } }catch(IOException ie){   ie.printStackTrace(); } lr.enable_redirection(true); lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF); System.out.println("Total URLs: " + urlList.size()); for(int i = 0; i < urlList.size(); i++){   url = (String)urlList.get(i);   System.out.println(url);   //事务名称   String trxName = "URL" + (i+1);   startTime = System.currentTimeMillis();   lr.start_transaction(trxName);   //传入url和每个调用者的标识   downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));   lr.end_transaction(trxName, lr.AUTO);   endTime = System.currentTimeMillis();   downloadTime = (int)(endTime - startTime)/1000;   speed = downloadSize / downloadTime;   lr.output_message(trxName + ": completed");   lr.output_message("time cost: " + downloadTime + "s");   lr.output_message("average speed: " + speed + "KB/s");   lr.output_message(""); } lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON); return 0; }//end of action public int end() throws Throwable { return 0; }//end of end }

所有以lr开头的方法都是LR内部方法,这里只用到了事务、日志等几个。

编译之前我们的JAVA下载代码,将包(com.test)放入LR脚本的目录中,如图:

JAVA + LR实现apache流媒体的性能测试

打开LR脚本,运行试一下。

JAVA + LR实现apache流媒体的性能测试

需要软件测试资料的小伙伴,可以来加群:747981058。群内会有不定期的发放免费的资料链接,这些资料都是从各个技术网站搜集、整理出来的,如果你有好的学习资料可以私聊发我,我会注明出处之后分享给大家。

可以看到正常输出了日志,再验证一下下载到的文件是否完整,找到输出路径,如“h:testtestvideo_20121106194419_-1”,用播放器打开这个文件,正常播放。说明我们的脚本已经OK了,下面就要做多用户的测试了。

打开controller,设置同时运行2个VUSER(为了保证负载机的网络不成为瓶颈),运行场景。

JAVA + LR实现apache流媒体的性能测试

可以看到,2个VUSER都按预期正常完成了。

从几个方面验证测试的有效性:

1是负载机的网络利用,上面单用户执行脚本时下载速度是5M/s(apache服务器做了限速),这次两个用户同时下载达到了10M。

JAVA + LR实现apache流媒体的性能测试

2是每个VUSER的输出日志。

3是下载文件的完整性。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
5个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
Java日期时间API系列31
  时间戳是指格林威治时间1970年01月01日00时00分00秒起至现在的总毫秒数,是所有时间的基础,其他时间可以通过时间戳转换得到。Java中本来已经有相关获取时间戳的方法,Java8后增加新的类Instant等专用于处理时间戳问题。 1获取时间戳的方法和性能对比1.1获取时间戳方法Java8以前
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Java服务总在半夜挂,背后的真相竟然是... | 京东云技术团队
最近有用户反馈测试环境Java服务总在凌晨00:00左右挂掉,用户反馈Java服务没有定时任务,也没有流量突增的情况,Jvm配置也合理,莫名其妙就挂了
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这