测试的底层逻辑

京东云开发者
• 阅读 508

作者:京东零售 张强

写这篇文章,是希望把我的一些我认为是非常有价值的经验总结出来,能够帮助刚做测试不久的新同事,或者是测试经验丰富的老同事以共享。希望我们可爱的新同事,准备要在测试领域耕耘的伙伴,能够通过我的文章了解到测试的底层逻辑,也就是我们测试工作中可能看不到隐藏较深的点,而不只是日常所见的写用例、提bug、开发自动化、做平台;俗话说外行看热闹,内行看门道。

测试的底层逻辑

我认为测试人员不应该成为PRD的搬运工,高级测试工程师也不应该只是测试工具得开发者;

测试人员,最基本的测试基础理论一定要掌握,当然研发编码技术也必不可少;如果这两样缺少一样,都无法成为一个优秀的测试人员;之前有很多测试人员都是不喜欢写代码,然后做了测试;但在未来或者现在,一个不懂代码的测试人员,很难成为一个优秀的测试人员;但只懂代码,不了解测试理论基础的人(不懂得测试分析、用例设计、测试策略的人,或者即使了解一些 ,但实际工作中不怎么使用的人),一定也不是一个合格的测试人员。

下面带大家了解一些测试的底层逻辑,测试的门道。

一、优秀测试人员应该具备的核心能力

根据Testerhome《2021年度测试行业问卷调查报告》-【优秀测试人员应具备的技术/能力】分析,

1、“编程/脚本/自动化、沟通表达、测试基础理论” 被认为是优秀测试人员的三大核心能力,继续领先其他项;

2、数据库、性能测试、安全测试、大数据算法等技术要求,从2020年开始大幅增长

三大核心能力基本是大家公认的,也是稳定不变的;但新的技术要求近几年开始都有了大量需求;从分析数据可以看到,市场对测试人员的要求会随着新技术的出现而不断变化;但三大核心能力是测试人员的必修课,变化不会太大,会一直占据核心位置。

自从10几年前的QTP开始,自动化测试就是测试人员追求的目标;直至今日,各种自动化技术、框架已经琳琅满目;市场对测试人员的要求也越来越高,测试人员不仅要会写自动化用例,还需要具备开发维护自动化框架平台的能力;纯黑盒的测试人员要么已经完成了能力升级,要么在升级的路上;完全依赖黑盒测试完成工作的已经越来越少,如果不会编写自动化用例或不了解编程语言,估计找工作简历都很难通过。

但往往物极必反,测试人员的代码能力越来越强,测试基础能力却被忽视,测试领域的专业能力逐步被淡化;正如逆水行周,不进则退;三大核心能力应该是齐头并进,不应该顾此失彼。

这些年参与了部门很多的招聘面试,我的感受就是很多测试人员虽然工作多年,但对测试用例的设计方法、策略等掌握并不好;至少有60%的人在用例设计中不会用什么用例设计方法,也不会思考怎么进行测试分析和设计,他们大部分只是功能测试的执行者,测试设计方面思考很少,测试计划更是很少有人写,测试用例也只是PRD的拆分;总之,测试人员一不小心就会成为PRD的搬运工。

作为一个测试老人,还是希望测试行业能够健康发展,在新技能提升的情况下,测试的专业性也能与时俱进,毕竟质量保障是测试人员的根本。

二、黑盒测试的底层逻辑

什么是黑盒测试?

它是把程序看作一个黑盒子,在不考虑程序内部结构的情况下,检查程序功能是否按照PRD的规定正常使用,程序是否能适当地接收输入数据,产生正确的输出。

这,其实就是黑盒测试的定义,也是黑盒测试的底层逻辑;一般人不会重视定义,但往往就是定义会告诉你真理。

工作中有很多人在习惯了一种类型的系统测试,然后换一个新的业务类型,忽然就不知如何下手了;也许是新的总要有一个适应的时间;其实万变不离其宗,只要掌握了黑盒测试的底层逻辑,就能够让你很快上手不再需要适应调整;

我们大部分做的都是黑盒测试,所以无论什么类型的系统,我们的测试方案都是“ 检查程序功能是否按照PRD的规定正常使用,程序是否能适当地接收输入数据,产生正确的输出。”

我们的测试依据是PRD,首先必须对PRD了如执掌,然后分析他的输入有哪些,输出有哪些;这些都覆盖到了,你基本就可以做到80分了,也就是你拿下这个项目已不成问题。

最后,我还是想再啰嗦强调一下, 就怕我讲的大家还是没有看懂,因为上面讲的大家都懂,第一天了解测试,就知道什么时候黑盒测试,什么输入输出了;但是往往真理就藏在平凡之间,记住他的定义!!!

当你遇到项目不知如何下手测试时,把定义拿出来认真读三遍,一定会找到答案!!!

强调: 实际当中纯黑盒的其实并不多,除了了解输入、输出,中间的处理逻辑也一定要清楚,这样对测试更有帮助;另外更重要的就是:必须熟读PRD,必须对PRD里的内容分析透彻,不放过任何一段文字,一个词。其实PRD里和设计文档里也会有很多的漏洞等你挖掘。

测试的底层逻辑

三、黑盒测试底层逻辑详解:【输入输出测试模型】

【输入】: 这里的输入,并不是简单的界面输入框才算是输入;任何只要能够触发系统运行的都是输入。按照代码架构分层,输入也可以做到如下分类:

1、界面操作的输入

正向操作:

1)单一操作:

•正常的操作:输入框、按钮、单选复选框、按钮、下拉框等的规定操作异常的操作:输入框的异常值、超长输入等、按钮的多次点击、快速连续点击(很容易就会发现数据重复提交,或者系统反应缓慢等各种问题,说不定系统就此而奔溃)

2)复杂操作:

•组合操作:一般系统的功能都是各种操作的组合;另外一种跟业务场景相关,也就是各种业务场景同时组合进行操作。

•并行操作:多人对同一功能点的并发操作;或者多人对同一个数据进行的操作,比如两个人同时对一条单价进行修改、删除等操作。

逆向操作:

3)逆向操作:

•回退操作:通过浏览器或APP进行的回退操作取消操作:正常操作突然取消,例如用户填写很多表格内容,突然操作了取消,是否需要保存或提示呢?删除操作:通过系统提供的功能对数据进行删除

下面的输入是最容易被忽略的:

2、服务层的输入:

•接口服务:对外提供的接口,对于系统来说也是很常见的一种输入,这种输入也是最容易出问题的;

•文件上传:有些系统功能是通过获取ftp服务器上的excel、xml等文件来触发系统运行的,所以这时候的输入就变成了文件。

•MQ消息:也是京东最常见的一种输入形式,MQ里也可能会包含文件地址等,这种输入就更加灵活了。

强调:

•对于接口上游的输入,无论何种形式,都要分析上游数据的每一个字段,了解上游各种输入的可能。

有些字段还必须从业务【源头】了解这个字段的含义,可能的枚举值,可能的结果等

•另外由于历史原因,源头的数据就可能存在各种想像不到的数据;

•对于输入的分析非常重要,这时候你就可以使用【等价类】方法进行分析。

3、数据层的输入:

•数据的变化:有很多后台处理的任务就是监控是否有新数据的插入或删除等数据字段的变化:后台处理任务监控数据状态的变化,或组合字段的变化等缓存数据的变化:除了数据库的变化,有的是缓存数据的变化时间的变化:定时任务除了数据是输入,时间也是他的输入。

【输出】:输出分为可见输出和不可见输出

看的见的输出: 就是我们常见的系统操作反馈,用户能直接看到的变化;比如弹框、提示、跳转、数据的新增、修改、删除后的变化,图片、视频等操作后的变化等等。

看不见的输出: 看不见的输出是最容易忽略也是最容易出问题的;【看不见的输出】包括:数据库的变化、缓存的变化、系统文件的变化、发送给下游接口的数据等

【看的见的输出】虽然能够帮我们验证基本90%以上的功能,通过界面展示的数据也能验证我们新增或修改的数据,是否新增成功了或正确的被修改了;但是我们看到的只是一部分;还有很多字段是没有被展示的,有的可能只是给下游或其他系统使用的,也有可能是留给未来使用的;这些不可见的部分,经常就会引起系统的异常,也是隐藏在系统中最大的坑;

所以测试,除了站在用户的角度去测试系统,还要站在设计者的角度去测试,更应该站在整个产品的角度去思考。


四、测试分析与设计的底层逻辑

说到测试分析与设计,我认为这个是测试人员最核心的能力;上面讲到的黑盒测试、输入输出模型,只是针对功能测试的方法,虽然一般的系统测试中功能测试占到80%-90%左右,但并不是全部。而且也只是测试中的一个阶段一个类型,要想做好测试,测试分析和设计是必不可少的。

大家可以思考一个问题:拿到一个项目,你如何来测试?如何保障质量?

面试中很多人给我的答案是:分析需求,编写用例,然后执行测试,发报告;这个只是测试的流程,只是告诉了我们测试的先后顺序,但并不能指导一个测试人员如何去测试,如何去做测试分析,更无法保障系统的质量。

拿到一个项目,你如何来测试?

可以借用5W2H方法来分析,其实作为测试架构师,不需要5W也不需要3W,2W+1H 就够了!

因为这2W+1H 是最重要的,也是最容易被经验代替然后就忽略的;日常的测试工作由于产品的形态及系统的架构基本固定,所以测试方案思路也基本固定,这样就导致拿到类似的项目就不再有思考,基本很快就按照经验开始干了;一旦遇到不同类型的系统,或者遇到新的业务就不知如何下手,这时候2W1H分析法就可以帮助我们解决这个问题。

测试的底层逻辑

测试架构师只需要思考三个问题(2W+1H) 就够了:

1、Why? 为什么做这个项目?项目的背景是什么?——只有知道为什么,才知道用户想要什么。

2、What? 这个项目我们需要测什么?我们的测试范围有哪些?——只有范围明确,测试才不会遗漏。

3、How? 这个项目我们怎么测?我们应该使用哪些测试策略、测试方法?——这里告诉我们测试应当有策略有方法

测试负责人(也可能是测试架构师)还需确定的两个问题:

4、When? 项目期望的完成时间?

5、Who? 可以调用的资源有哪些?

项目经理需要考虑的另外两个问题:(测试负责人也需要思考的2个问题)

6、Where?是否需要集中封闭,是否需要研发测试坐到一起?

测试人员还可以思考需要在什么环境下测试?测试环境?预发环境?线上环境?windows环境?Linux环境?ios环境?Android?什么浏览器?什么版本等等

7、How Much? 这个项目成本是多少?需要多少人日?需要多少服务器资源?

测试分析和设计的底层逻辑就是如何回答好2W1H这三个问题;Why和What可以指导我们进行测试分析,了解项目的【背景】,确认测试的【范围】;How可以指导我们去进行测试设计,根据项目背景及测试范围确定测试的【策略】。

不过目前讲的还是方法论,具体的操作步骤还没有讲;由于这一部分内容比较多,可以通过一篇文章具体来讲;大家也可以自己去了解学习一下,就是HTSM启发式测试策略模型,这个模型正好与2W+1H是相对应的。


五、测试人员的内功修炼

作为测试人员,“沟通表达等软技能”被认为是优秀测试人员的三大核心能力一,根据上面的统计数据,90%以上的人都是认可的。下面把我之前的一些总结分享一下:

1、主动沟通

在电商领域,特点就是快速和变化;有些需求或项目,经常要求快速上线,由于时间短,PRD里有些逻辑就可能会存在漏洞或者根本没有考虑到,面对这样的情况,我们测试该怎么办呢?这时就需要沟通,与产品随时沟通需求,与开发随时沟通设计,与其他系统随时沟通联调,没有沟通,项目里的坑很容易就会被遗漏。沟通还必需得是主动出击,找产品、找研发、找其他条线的测试,把自己当成老板,这个项目的质量基本就有保障了;把自己当成老板的员工,一定是最让老板放心的员工。

2、要有自己的标准

系统测试最基本的依据就是需求规格说明书;作为测试人员,我们是最后一道保障;测试必须有自己的分析,不能轻易就跟着研发的思路走,因为他告诉你的已经是经过他们思考加工过的,与原始需求可能已经存在了偏差;这也正是测试的价值所在。即使他们说的99%都是对的,但是也只能作为我们分析的一个材料;我们必须自己通过需求去分析。

3、对一切都要有怀疑的态度

需求是测试的依据,但是依据也有错的时候;所以对PRD也要有怀疑的态度。测试就是要怀疑一切; 每一个流程每一个细节;我看需求的时候第一遍基本默认他是对的,等对整体有了一定的理解,我就开始怀疑,流程是否完整? 是否存在漏洞? 模块功能是否能满足用户的要求? 非正常操作是否会出现问题? 用户是否会用?这个功能是否真的为客户解决了问题?等等,这些问题可以通过我们的一些质量标准、测试策略以及测试经验去怀疑,去思考。总之,测试每一个功能都要“三思”。

4、站在公司和用户的角度思考

公司越大,部门越多,系统就会越复杂;相互依赖越多,出问题的几率也会越大;因为边界多了,沟通成本也就高了;需要沟通的点多了,只要有些细节没有沟通到位,或者都没有考虑到,或者都认为是对方负责,那坑就出现了;当然这样的坑大部分会在联调测试阶段发现,但对于测试进度影响非常大,经常会造成反工、延期等风险;

要想这些坑能够在测试阶段发现,这时候就需要有一个主测试了;但我觉得主测试不应该是一个人,所有测试人员都应该是“主测试”;作为测试人员,软件质量的最后把关者,不能只看到自己负责的这一块,不能局限于自己的部门、团队,只要对整个系统有疑问,我们都有责任提出来,去找人解决。测试不能只看局部,要看全局;要站在公司的位置和用户的角度去思考,去测试。

上面主要是总结了我得一些经验,测试中的一些道,有不足之处或不够全面的也希望大家多多补充;后续还会继续分享我认为很重要的 HTSM模型,以及我认为非常重要的等价类划分,场景测试、基因测试、探索式测试的一些好的方法等。总之,我想把我的一些有价值的经验都分享出来以共享。

点赞
收藏
评论区
推荐文章
liam liam
2年前
不是吧,连公司里的卷王写代码都复制粘贴,这合理?
没错,我,本人,就是那种卷心菜,就是那种想卷但卷不过别人的,我每天吭哧吭哧写代码,写到办公区里空荡荡地只剩下我一个人,但我们组里,就我需求写得最慢,bug写得最多,我弟常问我:“哥,别的同事加班都没你多你绩效一定不错吧?”但、其实是因为我写不过别人,尤其公司里那个卷王,代码写得好,还写得快,改bug测试小姐姐一提他立马响应改好。搞得测试组那边买奶茶常常会
Stella981 Stella981
3年前
Jenkins+RF持续集成测试(一) 环境搭建
通常在自动化测试中,我们需要对自动化测试用例定时构建,并生成报告并通过邮件发给指定的人。最佳工具选择莫过于Jenkins了。通过Jenkins集成robotframework插件,我们能非常方便的定时从git/svn上拉取最新的自动化测试用例,然后执行用例并把最终结果以测试报告的形式发给指定的人群。下面我就来详细为大家介绍一下Jenkins集成RF插件
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
SpringBoot(20)
  我们在写单元测试的时候,除了接口直接抛异常而导致该单元测试失败外,还有种是业务上的错误也代表着该单元测试失败。好比我们在测试接口的时候,  该接口返回是1代表成功,如果是0那就代表是失败的,这个时候可以考虑使用断言。  一、原理我们知道,我们可以通过断言来校验测试用例的返回值和实际期望值进行比较,以此来判断测试是否通过。那我们先来看下如果失败的情
Stella981 Stella981
3年前
JS(javascript)在自动化测试项目中的应用【软件测试开发入门教程】
有朋友反映最近我写的东西太难了,太高级了。比如说我今天分享的主题是javascript在自动化测试中的应用有些朋友说我之前讲的自动化测试的东西,需要消化很久,有一定的难度,意思就是说我动不动就讲测试框架,测试开发是不是会有这样的感觉?比如今天分享的javascript,大家做软件测试有没有用过?或者在自动化测试中应用过可能很多朋友java
Wesley13 Wesley13
3年前
MySQL 快速创建千万级测试数据
备注:此文章的数据量在100W,如果想要千万级,调大数量即可,但是不要大量使用rand()或者uuid()会导致性能下降背景在进行查询操作的性能测试或者sql优化时,我们经常需要在线下环境构建大量的基础数据供我们测试,模拟线上的真实环境。废话,总不能让我去线上去测试吧,会被DBA砍死的创建测试数据的方式
水墨云怎么样?
今天看到这个云服务厂商,才开始是做CDN的,之后开始做vps业务。我登陆官方网站,查看了它家的产品大部分是年付,且不支持退款,于是我打消了每一台服务器测试的念头,这篇文章只能从它公开的测试IP入手看看水墨云这家的vps怎么样。但是我发工单希望给几个测试IP地址,工单回复却是:好吧,于是我只能在产品列表里看看有没有公布可以测试的IP地址
陈哥聊测试 陈哥聊测试
9个月前
如何选择合适的自动化测试工具?
自动化测试是高质量软件交付领域中最重要的实践之一。在今天的敏捷开发方法中,几乎任一软件开发过程都需要在开发阶段的某个时候进行自动化测试,以加速回归测试的工作。自动化测试工具可以帮助测试人员以及整个团队专注于自动化工具无法处理的各自任务,但困难的部分就是选择
鲍旭 鲍旭
7个月前
京东云开发者 京东云开发者
4个月前
研发视角浅谈R2流量回放测试
一、背景测试小伙伴们在2023年保障了团队线上系统0问题,这简直就是一项了不起的壮举!这得益于咱们测试组同事对工作的细致投入、风险把控、以及严格遵循流程规范进行测试用例评审、自动化建设、联调推动、回归验证、常态化压测、大促高保真压测、引流回放等多重保险策略