在自动化测试结果分析中使用AI工具

  Maroš Kutschy 在 QA Challenge Accepted 大会上表示，自动化测试结果的分析是测试活动的一个很重要且具有挑战性的部分。在任何时刻，我们都应该可以依据自动化测试的结果来判断产品的状态。他介绍了人工智能如何帮他们节省分析时间、减少人为错误，使团队能够专注于新出现的失败的测试。

  Kutschy 提到，他们在分析自动化测试结果时遇到了挑战，正在寻找一种更高效且更少出错的分析方法：

  他们引入了 ReportPortal 这个工具，它用AI来分析自动化测试结果。正如 Kutschy 所说的，这个工具可当作企业内部解决方案进行免费安装：

  Kutschy 说，测试人员登录 ReportPortal 找到他们负责的作业的运行结果，并查看有多少失败处于“待调查”状态。前一天的失败测试（之前已经分析过）已被 ReportPortal 分类。对于“待调查”状态的失败测试，他们要执行标准的分析流程，即调试并找出失败的根本原因：

  Kutschy 说，当你刚开始使用这个工具时，它对失败的测试一无所知。测试人需要决定测试失败是产品缺陷、自动化缺陷还是环境问题导致的。当下一次相同的测试再次失败时，工具会根据之前的判断，利用人工智能为失败分配正确的状态。

  Kutschy 提到，仪表盘通过展示分析结果提供了测试和应用程序状态的概览视图。实时可见的分析状态让你能够正常的看到谁正在处理哪个失败的测试，这有助于决定是不是可以发布应用程序。

  使用这个工具能节约分析时间，因为它们只关注新失败的测试，而不是所有失败的测试，正如 Kutschy 所说的：

  由于工具会根据之前的决策对旧的失败测试进行分类，因此减少了人为错误。这有助于将注意力集中在新出现的失败测试上，Kutschy 说。

  如果人类用错误的数据训练人工智能，人工智能也会做出错误的决定，Kutschy 说。如果你是一个糟糕的老师，你的学生（ReportPortal）也会表现不佳：

  如果正确用AI，它可以为你节省大量时间并减少人为错误，Kutschy 说。在确认它可以正常运行之后，你就可以信赖它，不再需要你们手动对失败的测试进行分类。

  InfoQ 采访了Maroš Kutschy，了解他怎么样去使用人工智能进行自动化测试分析。

  Maroš Kutschy：我们首先进行概念验证，确认我们可以将该工具集成到我们的测试自动化框架中。

  接下来，我们让同事们遵循使用 ReportPortal 来分析测试结果的流程。最初，他们需要对所有的失败测试进行分类，即为它们分配正确的状态（自动化问题、产品缺陷、环境问题）和 Jira 任务。

  我们先是在指定的团队中进行了测试，然后让所有团队都开始使用。试用的反馈非常积极，测试人员觉得它很有用，因为它帮助他们简化了分析工作。

  我们必须确保 ReportPortal 做出了正确的决定。这个决定取决于我们在测试自动化框架中如何处理堆栈跟踪信息和 ReportPortal 的配置。如果它没有按预期工作，我们就尝试调整 ReportPortal 的设置。

  目前的大多数讨论都是关于如何用AI来生成测试自动化代码，但我们发现，自动化测试结果分析也是一个非常适用人工智能的领域。我们大家可以在测试的许多场景中使用人工智能（包括生成式人工智能）。