APP流水线测试领域探索与最佳实践 | 京东物流技术团队

京东云开发者
• 阅读 336

1 背景

APP端UI自动化因其特殊性(需连接测试机)一般都在本地执行,这种执行方式的局限性有以下弊端:

  1. 时效性低:研发每次打包后都需要通知测试,测试再去打包平台取包,存在时间差
  2. 研发自测或产品验收无法使用自动化脚本:研发自测及产品验收时如果想用自动化脚本需要搭建相应的运行环境并准备测试机,繁琐的步骤导致研发/产品放弃使用自动化。而手工验证的过程中经常需要测试协助下单、改数据,效率低
  3. 本地执行的结果没有持久化存储,不利于进行结果度量

2 方案分析

为解决以上问题需要搭建流水线,CI/CD领域常用的流水线平台非Jenkins莫属,Jenkins功能强大、可二次开发,但执行APP自动化需要windows执行机、模拟器/真机,这些要求无疑增加了测试成本。与之相比,Bamboo平台是基于Jenkins开发的流水线平台,不仅继承了Jenkins的众多功能,且支持图形化配置,并对接了赛博平台等其他平台。

从下图对比中可以看出,复用现有的Bamboo平台成本更低,同时需要做以下改变:一、自动化框架需要改为airtest框架;二、需要对测试报告进行处理以符合预期。

APP流水线测试领域探索与最佳实践 | 京东物流技术团队)

3 方案实施

架构图:

APP流水线测试领域探索与最佳实践 | 京东物流技术团队)

流程图:

APP流水线测试领域探索与最佳实践 | 京东物流技术团队)

执行结果:

APP流水线测试领域探索与最佳实践 | 京东物流技术团队)

4 执行过程中遇到的问题及解决方案

1.bamboo打debug包成,release包不成功

解决:证书管理中上传 sign.properties 文件,该文件中去掉绝对路径信息,使用相对路径

2.赛博平台无法输入汉字

解决:用poco().set_text()替代text()方法

3.跑脚本失败提示 RuntimeError: unable to launch AndroidUiautomationPoco

解决:赛博的机器有ATX,会影响poco初始化。poco初始化前加代码:

# 停止ATX
try:
shell("am force-stop com.github.uiautomator")
shell("/data/local/tmp/atx-agent server --stop")
except Exception as e:
print("兼容非赛博机器")

5 待解决问题

  1. 接入coding平台,只支持airtest框架
    影响:需要对原框架进行改动,成本较高。与赛博平台负责产品沟通过,赛博平台后期会开发对接其他框架的功能。
  2. 手动配置的数据比较多:模块、用例、用例集
    影响:除了测试脚本外还需单独配置模块、用例、用例集,人工成本较高。后需可考虑coding平台代码合并后触发定时任务自动生成对应的模块、用例、用例集。
  3. 无法指定机型
    影响:无法指定机型进行兼容性测试,与赛博平台分则产品沟通过,暂未有计划修改此项。
  4. 京管家未接入线上打包平台
    影响:测试过程中需要本地保留apk包,占本地内存且容易混淆;无法进行版本管理,需要复现问题时不能及时提供历史版本;UED走查或产品验收时只能京ME联系研发取包,时效性差;无法接入流水线。

6 预期收益

流水线不仅解决了环境配置及测试机不足的问题还有以下优势:

  1. 学习成本低,操作简单,预计可节省三分之二的工时
  2. 执行结果可以做持久化存储,后期可与自动化度量平台相结合进行数据分析
  3. 流水线中可加入Sunglasses原子,UI自动化测试过程中监控Flutter异常
  4. 线上版本可做日常化监控,及时发现问题

作者:京东物流 范文君

来源:京东云开发者社区 自猿其说Tech

点赞
收藏
评论区
推荐文章
cookie 时效无限延长方案
自动化测试有2种形式,接口自动化和UI自动化。而UI自动化经常会被登录节点堵塞,例如验证码、图形、滑块等,尽管有些方式可以识别图形和定位滑块位置,但成功率都不高,无法真正意义上实现自动化执行;而http接口的自动化测试前置如果依赖cookie,也无法实现自动化执行。
高复用性自动化脚本设计实践
在自动化测试实践中,为了更好的契合被测业务场景,需要不断优化框架分层结构。本文结合产品模块化思路,意在介绍通过策略模式改造原本复杂分支语句代码,通过理论讲解、思路分析、方案设计、及代码演示,提供自动化脚本重构的落地方案。
Stella981 Stella981
3年前
DevOps平台支撑企业IT运营
一、普元DevOps平台建设历程普元从2008年开始研发持续集成平台(CIP)、自动化测试平台(UTP),2009年内部的所有产品都实现了持续集成、自动化测试、自动化部署。随着DevOps理念的兴起,企业的数字化转型的需求也愈发强烈,于是开始着手研发DevOps平台,并在这个过程中不断探索微服务、DevOps、容器云、Cha
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
3年前
RobotFramework接口自动化的设计思想
自动化终极思想:以目标为导向,不断抽象沉淀,消除冗余,做到测试数据与测试代码分离1、自动化测试对人员的要求1、对测试人员的技能要求较高,需要自己写测试代码或看得懂别人的测试代码;2、需要根据版本迭代进行更新测试用例,有一定的维护成本;3、自动化能发现的缺陷数(bug)远远少于手工测试,产出低;4、自动化测
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
陈哥聊测试 陈哥聊测试
8个月前
如何选择合适的自动化测试工具?
自动化测试是高质量软件交付领域中最重要的实践之一。在今天的敏捷开发方法中,几乎任一软件开发过程都需要在开发阶段的某个时候进行自动化测试,以加速回归测试的工作。自动化测试工具可以帮助测试人员以及整个团队专注于自动化工具无法处理的各自任务,但困难的部分就是选择
Airtest图像识别测试工具原理解读&最佳实践 | 京东云技术团队
Airtest是一个跨平台的、基于图像识别的UI自动化测试框架,适用于游戏和App,支持平台有Windows、Android和iOS。Airtest框架基于一种图形脚本语言Sikuli,引用该框架后,不再需要一行行的写代码,通过截取按钮或输入框的图片,用图片组成测试场景,这种方式学习成本低,简单易上手。
API 小达人 API 小达人
10个月前
5分钟上手 浏览器插件测试——Eolink Apikit
EolinkApikit研发管理和自动化测试产品中,提供了多种发起API测试的方式,包括浏览器插件测试。通过EolinkApikit官方浏览器插件发送请求,需要安装Chrome或者Firefox插件,可访问本地服务器(localhost)、内网、局域网。
API 小达人 API 小达人
9个月前
从苏州银行的 API 治理,看银行数字化转型的合规性探索
平台与行内相关研发和运维管理系统进行打通,实现API研发、测试、治理和运维一体化管理;实现与Devops系统打通,实现接口的自动化发布和测试;实现与测试数据管理平台、缺陷管理平台打通,实现API接口研发一体化管理。