移动专项测试 | 几个有意思的问题解答和实战练习

本文挑选了霍格沃兹测试学院测试开发学员在移动专项测试课程学习交流问题和实战演练，供参考。

Question by @测试小Q

最近遇到一个奇怪的问题。项目组 APP 启动的时候，那个 welcome 页面 load 出来很慢。观察到跟网络环境有关系 —— 网络比较差的时候，容易 load 较久。
但当我尝试直接开启飞行模式，然后再打开的时候，welcome 页反而很快就出来了。这个问题，该怎样去定位？求大神给思路指点！

Answer by @思寒

这是个经典的专线测试问题，解决思路就是分场景测试。

先给你讲一个真实的血泪故事，某互联网 App，打开 App 会加载广告。某天更新了一个新的版本，发现有10W 用户当天无法打开这个 App。追查原因发现是 App 启动的时候，加载的广告数据格式有误，其中一个 URL 的字段为 null，导致了空指针异常，界面都没出现。

要杜绝这类问题，就要按照不同场景进行测试：

• 启动性能测试：2G、3G、4G、Wifi
• 广告的接口弱网：断网、20s完全超时、部分超时
• 健壮性测试：接口字段异常、接口不可用

需要熟练掌握和使用一部分弱网测试技术、代理技术。

飞行模式有个问题是，很多开发者或者底层库对飞行模式有特殊处理，所以不会发请求，会可能导致复用以前的广告数据，就无法充分测试了。

Question by @测试小A

公司一直在做 App 性能测试，主要是用过 adb 命令进行信息收集，得出的结果，研发那边一般也不重视。
问题1：因为 CPU、流量使用、内存等每一次测试也都不一样，测试自己都有点怀疑结果真实性。该如何保证测试结果准确，提高说服力。
问题2: 正在努力学习学院教授的性能测试方法，但还是有些担心如果不被重视该怎么办？这种方式发现的性能问题是否可靠？

Answer by @思寒

问题1. 根据情况分析：

• 场景问题，功能上有类似暖启动的机制，比如 cache
• 后台任务会干扰 cpu，内存和 cpu 一定是波动的，网络环境、其他进程干扰

分清楚场景、cpu与mem不要过度精确，研发经常会使用空间换时间等各种改进策略。可以建立函数级别、业务级别的性能基线，但是不要过度追求数据的精确性。

• 3年前，App 爆发增长，没充分测试，百分位 crash 率
• 2年前，App 的开发热潮的顶峰期，专项测试+云测+自建测试平台，千分位 crash 率
• 1年前，crash 监控开始普及，白盒 sdk 测试、在线 APM 监控，万分位的 crash 率

问题2. 测试同学要遵循以下步骤，并增强自己的说服力：

• 发现问题
• 确定场景
• 确定关键的性能基线数据
• 定位原因

移动专项测试小练习

以下为霍格沃兹测试学院的移动专项测试实战演练题目，动手试试看！

• 作业1

找到某款 App 的 webview，分析其中某个关键页面的性能，把 devtool 中的资源加载流图贴出来。

• 作业2

分析自己公司的 app 启动时间，把关键的启动过程直到首屏完整加载的过程制作成一个 gif（ffmpeg可以）。

• 作业3

分析自己的 app 中的疑似卡顿的功能，使用 systrace 抓取这部分的渲染过程，并找出解析时间最长的一帧的截图。

（文章源自霍格沃兹测试学院）