如何针对需要不同参数值的不同环境运行相同的手动测试用例

How to Run the Same Manual Test Case Against Different Environments Requiring Different Parameter Values

提问人:John Saunders 提问时间:9/22/2014 最后编辑:John Saunders 更新时间:8/8/2020 访问量:1172

问:

我有一组手动测试用例,我已经在我的开发环境中成功运行了这些用例。我现在想对 QA 和 UAT 环境(以后可能还会对 STAGE 和 PRODUCTION 环境)运行相同的测试。

我的测试用例包括要测试的站点的 URL。在我的情况下,URL 因环境而异,例如 dev.mysite.com、qa.mysite.com uat.mysite.com。QA 和 UAT 环境中的测试步骤将与在 DEV 环境中成功运行的步骤相同。

我知道我可以为 QA 和 UAT 创建单独的测试计划,并且可以将现有测试克隆到新的测试计划中。这将允许我编辑克隆的测试用例以更改参数。

但这将是一个维护问题:对于每个测试,我都会有三个单独的副本。当 DEV 中的测试发生变化时,我必须对 QA 和 UAT 版本进行相同的更改!

有没有更好的方法可以在多个环境中运行相同的测试?

请注意,这些是现有的物理环境,因此我不能使用实验室管理工具版创建一组隔离的虚拟环境,在这些环境中,我可以使用网络将它们全部称为 env.mysite.com 或其他名称。

TFS 微软测试管理器

评论

0赞 Brendan Green 9/22/2014
在这种情况下(dev.mysite.com)测试参数(将)从何而来?App.config?在这种情况下,配置转换是否有帮助,为每个环境提供不同的生成配置,并在 TFS 中提供相应的生成定义?
0赞 John Saunders 9/22/2014
我想知道是否有某种方法可以为每个测试环境或其他东西指定它。需要参数的是测试,而不是被测试的应用程序。除了 URL(为了简单起见,我说只是 URL)之外,每个环境可能有不同的用户名/密码或其他东西。这些不是程序参数。如果这是单元测试或基于 MSTEST 的东西,我可以让它成为数据驱动。我不知道如何处理手动测试。

答:

0赞 MrHinsh - Martin Hinshelwood 9/23/2014 #1

没有办法将参数作为手动测试的主要用例传递,编码的 UI 是功能行为的验证。验证一次后,应使用简单的冒烟测试来验证部署。

但是,您可以在客户端计算机上使用 hosts 文件来获得常量 url,例如 m siteundertest.mydomain.com 始终指向正确的服务器。

然后,您模拟的是单个 URL,而实际上它指向不同的框。

评论

0赞 John Saunders 9/23/2014
我指的是手动测试,而不是编码的 UI。对于编码的 UI,我假定我可以使用 MSTEST 数据绑定功能。
1赞 MrHinsh - Martin Hinshelwood 9/23/2014
如果是手动的,为什么测试人员不能输入正确的URL?
1赞 John Saunders 12/12/2014
如果测试已参数化,那么我相信从手动测试运行生成的编码的 UI 测试将具有将参数数据绑定到测试用例工作项的参数。如果我希望编码的 UI 测试适用于不同的环境,那么我可能会将数据源更改为基于文件的内容,并为不同的环境使用不同的文件。我想我要求手动测试具有相同的功能 - 能够切换参数集,而无需复制测试用例,只有参数不同。
1赞 John Saunders 12/14/2014
我的测试步骤并非特定于环境。不幸的是,测试数据
1赞 MrHinsh - Martin Hinshelwood 12/16/2014
您是否考虑过将数据存储在其他地方?像数据库还是可以部署的文件?