在决定为项目使用哪种测试自动化工具时，绝大多数有经验的测试人员和管理人员会优先考虑许可和支持成本以及好的测试报告。在我们对2,000多名测试专业人员进行的调查中，超过60%的具有3年以上测试自动化经验的受访者同意，这些标准是决定测试自动化工具的最重要优先事项。此外，在测试自动化方面经验较少的受访者将培训和支持材料的优先级置于其他标准之上。

拥有3年以上经验的50%以上的受访者认为最重要的六个优先事项是：

（1）许可和支持费用

（2）良好的测试报告

（3）培训，文档，教程，指南

（4）CI，DevOps支持

（5）所需的编程技能水平

（6）所需的技能和经验水平

推荐的工具

Open-source tools （coding experience required）

Selenium

Appium

Robot Framework

Cucumber

Free tools （limited community’s support）

Katalon Studio （Free download）

Commercial tools （high support & license cost）

TestComplete

UFT

Ranorex

软件自动化工具和框架对于测试自动化项目的成功至关重要。但是，为新软件项目选择正确的测试自动化工具集是一项艰巨的任务。有很多工具，每个工具都有一些独特的良好功能。一个工具可能无法满足所有项目要求和约束，从而导致要使用多个自动化工具。选择的工具似乎在一开始就可以使用，但是后来出现了麻烦，因为在选择工具时忽略了隐藏的问题。

当与市场上的其他工具进行比较时，工具供应商通常会提供一系列关键特征和特性。他们倾向于强调工具的优势，而忽略可能指出其劣势的重要功能。这种做法不仅使新的测试自动化采用者感到困惑，而且使经验丰富的人为新测试自动化项目的哪些工具和框架做出决策时感到困惑。

为了选择合适的工具，可以根据一组最高优先级来检查每个感兴趣的工具。此类清单可能来自专业人员的经验以及特定的项目要求和约束。

了解调查确定自动化工具的优先级是我们调查的一部分，该调查向软件测试专业人员询问了他们在测试自动化方面的经验。该调查问卷已发布在多个软件测试网站上，并通过包括Katalon Studio在内的多个邮件列表共享。

我们收到了2,291位受访者的回答，其中1,877位（82%）曾在他们的项目中应用过测试自动化。在所有受访者中，分别有970（或42%）和484（22%）至少有一年和三年以上的测试自动化经验。此处报告的结果不包括表示尚未应用测试自动化的受访者。

所有受访者选择工具的优先级

下表显示了建议的所有优先属性，以及同意的受访者的相应百分比。一位受访者可以选择一个或多个属性。

至少50%的受访者选择的前四个属性是工具选择中最重要的优先事项，包括：

（1）培训，文档，教程，指南：受访者选择此属性的比例最高，该属性与学习和使用该工具的培训以及材料有关，是他们选择工具的优先事项。

（2）良好的测试报告：工具生成的测试文档和日志，用于状态报告，测试执行分析和缺陷诊断。

（3）许可和支持成本：与工具的购买，维护和支持相关的所有成本。

（4）所需的编程技能水平：如果团队中的测试人员不具备良好的编程技能，那么他们真正关心的是学习使用工具的编程知识。

所有受访者中有56%确定了最高优先级。许多受访者（58%）在测试自动化方面的经验不足1年。因此，合理的选择工具的最重要属性是学习和使用工具的培训和材料。

几乎50%的受访者选择的第五优先级是工具所需的技能和经验水平。此属性与第四高优先级或所需的编程技能水平有关，是指有效使用工具所需的技能和经验。例如，Selenium是一个流行的测试自动化框架，但它要求采用者具有很高的技术技能和经验才能上手。

令人惊讶的是，大多数受访者没有将用户界面/用户体验（UI / UX），支持服务，长期承诺以及应用程序生命周期管理（ALM）工具集成作为选择自动化工具的优先事项。值得注意的是，不到20%的受访者将与ALM工具集成的能力作为重要的优先事项。

值得注意的是，尽管经常将工具的功能/特性丰富作为一种优势，但许多受访者对此并不满意，只有46%的受访者将其作为优先事项

有经验的受访者评估工具选择的优先级

我们考虑了两个受访者小组，一个小组具有至少3年的测试自动化经验，另一个小组具有1年或更短的经验。可以直觉地认为，由经验丰富的测试自动化专业人员提供的关于选择工具的最高优先级的反馈比没有经验的专业人员更合理。

如下图所示，由经验丰富的受访者评估的最重要的优先级与那些在自动化领域经验不足1年的受访者的观点大不相同。拥有3年以上经验的50%以上的受访者认为最重要的六个优先事项是：

（1）许可和支持费用

（2）良好的测试报告

（3）培训，文档，教程，指南

（4）CI，DevOps支持

（5）所需的编程技能水平

（6）所需的技能和经验水平

与经验不足的受访者相比，经验丰富的受访者更倾向于优先事项，超过50%的受访者选择了六个标准。其中超过60%的人同意许可和支持成本以及良好的测试报告是选择工具的前两个重点。这些属性比培训和支持材料更重要，这并不奇怪，因为它们已经具有测试自动化的经验。

许可和支持成本在经验丰富的受访者中排名最高，而在经验不足的受访者中排名第五，只有不到50%的受访者将其列为优先事项。许多工具最初都是非常负担得起的，但是从长远来看，它们的维护，支持和相关成本是巨大的，有经验的测试人员清楚地证明了这一事实。

持续集成（CI）和DevOps支持被认为是55%有经验的受访者的优先事项，但对于大多数（少于20%）经验不足1年的受访者却不是优先事项。同样，有经验的受访者比没有经验的受访者更喜欢用户社区。一个强大而活跃的用户社区，需要一个工具来共享知识并解决所面临的问题，这对于专业测试人员而言至关重要。

令人惊讶的是，调查显示，与ALM工具和UI / UX集成的能力通常被称为测试自动化工具的关键属性，对于经验不足和经验不足的受访者（少于30个）而言，似乎都不重要选择这些工具特征作为优先事项的受访者百分比。

总结

本文没有提出专家意见，而是报告了我们的调查结果，这些调查结果调查了软件专业人员，他们对自动化工具选择优先级的观点有所不同。这些发现可作为参考，以检查专家的意见并决定在测试自动化项目中使用哪些工具。这项调查提出了几个重要的含义：

成本与技术专长。这项调查显示，许可和支持成本是64%的经验丰富的受访者确定的最优先选择的工具。这就是为什么大多数受访者在其项目中使用开源工具和框架（例如Selenium，JMeter和Appium）的原因。但是，这些工具中的大多数与典型的商业替代方法不同，在有效利用它们之前，需要技术专家（编程技能和经验）来构建，集成和部署。幸运的是，最近出现的自动化解决方案（例如Katalon Studio）通过利用流行的开源框架和库（例如Selenium和Appium）提供了一个集成的，随时可用的环境。这些解决方案是负担得起的且不需要部署技术知识，编程技能和经验即可使用的开源和商业解决方案的有吸引力的替代方案。

好的测试报告很重要。测试执行的基本报告是是否通过了一个测试案例，大多数（如果不是全部）自动化工具都支持该测试案例。但是，正如本次调查所建议的那样，自动化界的需求远不止这些。他们需要翔实而有见地的测试报告，以帮助诊断和分析缺陷和根本原因，测试范围，测试有效性以及其他分析。这样的报告对于管理人员做出有关其产品质量的明智决策变得必要。

对于自动化工具来说，支持CI和DevOps工具集成至关重要。由于测试自动化是CI和DevOps实践的基石，因此严肃的自动化工具必须能够与CI和DevOps工具链集成。缺少自动化工具的CI和DevOps支持会大大降低其效率和在以速度为优先的敏捷项目中的收益。随着越来越多的DevOps采纳趋势持续发展，集成功能已成为自动化工具的基本功能。

免责声明：内容和图片源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。