当软件测试遇上ChatGPT：软件测试未来展望

摘　要：软件测试是软件开发过程中的重要环节，保证了最终产品符合所需的质量标准和规范。随着人工智能和自然语言处理技术的快速发展，智能软件测试时代即将到来，传统的软件测试方法和程序将会发生改变。文章通过分析ChatGPT在金融软件测试过程中的应用情况，认为其可以提高软件测试的效率和准确性，为金融软件开发和测试带来全新的机遇和挑战。

关键词：软件测试；人工智能；ChatGPT

来源：《金融科技时代》2023年第5期

作者：中信建投证券股份有限公司　陶剑峰　刘正新　赵彦清

一、引言

软件测试是软件开发的一个重要环节，旨在识别并修复软件中的错误，保证软件的质量和可靠性。随着金融行业的飞速发展，业务朝着多样化和复杂化的方向发展，对软件测试也提出了更高的要求。然而，传统的软件测试流程架构存在人力成本高、测试效率低等问题。因此，寻求更加有效的软件测试方法及提升软件测试阶段能力的工具，成为了一项重要工作。

传统的软件测试流程通常包括以下几个步骤：需求分析、测试计划、测试设计、测试环境设置、测试执行、报告测试结果、缺陷管理。这些流程往往耗费大量的人力、物力和时间来完成测试任务，如果出现了较多的问题，需要反复执行整个流程，将对软件开发上线的过程造成较大阻碍。

近年来，随着人工智能技术的不断发展，越来越多的人开始关注如何使用人工智能技术改善软件测试流程。其中，OpenAI的ChatGPT模型是当前人工智能的热门技术。ChatGPT是一种预训练语言生成模型，能够快速生成自然语言文本。只需准确输入一些前置条件和期望，就可以让其自动生成测试用例，快速识别软件错误等。这有望提高软件测试的效率和准确性，推动软件测试行业的发展。

二、ChatGPT在软件测试阶段的优缺点

（一）需求分析阶段

ChatGPT可以为软件测试需求分析提供一些基本的指导。例如可以为功能需求分析（用户故事、用例分析、数据流图等）、非功能需求分析（性能、可用性、安全性、可维护性等）、测试需求分析（测试计划规划、测试用例设计、测试环境需求等）提供一些基本的策略和方法。使用ChatGPT进行测试需求分析的优势可以概括为以下几点。

一是自然语言理解。ChatGPT自动阅读并理解需求文档的相关材料，梳理与总结客户的需求，从而帮助测试人员准确把握软件需求。二是数据分析。ChatGPT分析大量的历史数据，包括缺陷报告、用户反馈等，以发现重要的需求、关注点和趋势，从而提供更好的测试建议。三是需求验证。ChatGPT可以帮助测试人员验证需求的完整性、一致性和正确性，从而确保测试的覆盖率。

然而，需要注意的是，ChatGPT作为一个通用的自然语言处理模型，对软件测试需求分析这个特定领域缺乏深入的模型训练和研究。因此，对于复杂的软件测试需求，还需要专业的软件测试工程师和领域专家来进行分析和解决。

（二）测试计划阶段

在测试计划的制定上，ChatGPT可以从测试范围、测试目标、测试策略、测试资源和风险评估方面给出参考。使用ChatGPT生成测试计划的优势可以概括为以下几点。

一是整体规划。ChatGPT本身基于一些项目进行过模型的训练，如果项目方案成熟，其便可以短时间内辅助生成整体测试计划。二是风险评估。ChatGPT分析历史测试数据、缺陷报告和用户反馈等，自动识别和评估测试风险，帮助测试人员制定测试计划。

但同样的，在复杂软件测试的计划制定、对测试计划变更和项目保密性等方面，是其所欠缺的。

（三）测试设计阶段

在测试设计方面，ChatGPT会根据测试目的、测试用例设计、测试技术栈等给出参考。使用ChatGPT做测试设计的优势可以概括为以下几点。

一是测试用例设计。根据需求文档、历史测试数据和测试经验，快速自动生成测试用例，并优化测试用例的覆盖率。二是测试用例优化。优化测试用例的设计和执行顺序，以提高测试效率和发现缺陷的速度。

测试设计的主要工作为测试用例设计，在这部分工作中，ChatGPT会呈现不错的效果。但是涉及复杂的需求和业务逻辑以及安全性和性能等测试需求时，其理解力可能存在偏差，难以完整地覆盖测试用例设计。这种情况下，需要具有相关测试经验的人员进行补充和调整，以确保测试用例的覆盖率和有效性。

（四）测试环境配置阶段

在测试环境配置方面，ChatGPT会从硬件和软件环境、测试数据管理等方面给出参考。在此阶段使用ChatGPT的优势可以概括为以下几点。

一是测试数据设计。自动生成测试数据，并优化测试数据的多样性和覆盖率。二是测试环境配置。自动分析所需执行的测试用例和测试数据的数量与复杂度，列出所需的测试环境与配置参数。

在此阶段，ChatGPT可以为测试人员提供测试环境的基本配置和设置，例如硬件设备、操作系统、数据库、网络配置等。然而，由于每个企业都有自己的测试环境，并且不同项目可能需要不同的测试环境配置，使用ChatGPT智能列出的测试环境配置可能与实际需求存在偏差。对此，需要测试人员对ChatGPT提供的测试环境配置进行检查和调整，并根据实际情况开展测试环境的配置和准备工作。

（五）测试执行阶段

ChatGPT不会直接执行软件测试，因为其本身不是一个软件开发项目。而且，测试执行通常需要人工参与，尤其是性能测试、用户体验测试等。ChatGPT作为一个智能助手，未来可能会与其他组件集成，在测试执行发挥作用。例如，ChatGPT可能与自动化测试工具或性能测试工具集成，以便协助测试人员执行测试用例或监控系统的性能。此外，ChatGPT还可以帮助测试人员收集和分析测试数据，从而支持测试过程的决策，提高测试过程的质量和效率。

（六）报告测试结果阶段

在测试报告方面，ChatGPT会依据测试结果的数据，自动生成测试报告，包括测试结果、测试覆盖率、性能指标和缺陷情况等。使用ChatGPT生成测试报告的优势具体可以概括为以下几点。

一是测试结果分析。自动分析测试结果和缺陷数据，生成详细的测试结果报告，其中包括缺陷数量、缺陷严重程度、修复状态等。二是自动生成报告。自动生成测试结果报告，从而减少测试人员的工作量和时间，提高测试效率。

该阶段ChatGPT自动化程度高，可为测试报告提供较多的支持和帮助。但是在测试过程中，测试结果的审查和测试结论分析仍然需要人工干预，因为测试人员需要在所生成报告的基础上继续进行更深层次的分析。

（七）测试缺陷管理阶段

在缺陷管理阶段，ChatGPT有较多的局限性，其仅仅具有缺陷分析的优势，即自动分析缺陷，帮助测试人员更快地发现缺陷，分析出缺陷的严重程度，反馈修复状态等信息，并提供推荐解决方案。

缺陷管理是软件测试中一个非常重要的环节，包含缺陷识别、缺陷记录、缺陷跟踪和缺陷修复等多个环节。在这些环节中，ChatGPT无法承接大部分功能。因此，在缺陷管理阶段，仍然需要人工介入来辅助完成这些任务。

三、ChatGPT在软件测试中的应用

本文以项目过程中新增的接口信息为例进行验证，其中包含接口的请求方式、URL、校验参数等信息，将从接口测试用例设计和接口自动化测试脚本两个方面进行分析。接口信息匿名化处理后见表1所列。

表1　接口信息描述

（一）接口测试用例

根据上述的接口信息，调用ChatGPT的API接口，可以得到其生成的接口测试用例如图1所示。

图1　接口测试用例

ChatGPT所生成的接口测试用例涵盖了用例标题、用例描述、操作步骤和预期结果等信息。从结果的展示情况来看，基本满足测试用例的编写要求。

（二）接口自动化测试脚本

根据上述接口信息，调用ChatGPT的API接口，可以得到其生成的接口自动化脚本，如图2所示。

图2　接口自动化脚本

其中，ChatGPT所生成的接口自动化脚本采用了Python语言，调用了依赖的基本库、有相应注释信息的标注。从结果的展示情况来看，基本满足自动化脚本的编写要求。

四、ChatGPT在软件测试中的挑战

（一）数据准确性

ChatGPT是智能化自然语言处理机器人，通过大量的语料训练。因此其产生的结果依赖语料中数据与信息的完整性和准确性。如果训练语料包含错误的信息，那么ChatGPT生成的结果可能不准确。因此，在使用ChatGPT进行软件测试前，需要对语料进行严格的清洗和验证，特别是一些特定的金融关键词，以确保数据的准确性。

（二）误差问题

由于ChatGPT是一种基于概率模型的技术，其生成的结果可能存在一定的误差。如果不对误差加以控制和评估，可能导致测试结果不准确，影响软件的质量。因此，在使用ChatGPT进行软件测试时，需要定期评估模型的误差，并采取措施纠正误差。

（三）安全和隐私问题

由于ChatGPT需要访问和处理大量数据，可能存在数据泄露的风险，且ChatGPT的模型参数可能被攻击者恶意篡改，导致测试结果不准确。因此，在使用ChatGPT进行金融软件测试时，需要采取有效的安全措施和数据保护措施，对数据进行脱敏、加密等处理，保护数据的安全和隐私。

（四）人工智能程度化问题

虽然人工智能技术在软件测试领域中有很大的应用潜力，但其并不能完全取代人来进行软件测试。尤其是在金融软件测试行业中，测试设计、测试执行和缺陷管理等环节高度依赖人的操作和经验，具备金融从业知识的测试人员是至关重要的。同时，在测试过程中，测试人员还需要根据具体场景进行灵活的调整和优化测试策略，从而确保软件高质量的达标与交付。因此，人工智能技术和测试人员操作与经验的结合使用，是金融软件测试未来的一个重要发展趋势。

五、ChatGPT和软件测试的未来

随着技术的不断发展，ChatGPT作为一种基于人工智能的软件测试工具，具有极高的效率和准确性，为软件测试提供了全新的思路和途径。同时，ChatGPT能够完善软件需求分析和验证，加速软件开发的效率。其可以协助生成一些代码，或者对代码进行简单的语法分析，推进软件开发进度。通过将ChatGPT与现有的软件测试工具相结合，可以提高开发人员和测试人员测试效率和准确性，并缩短软件开发周期，减少部分人力投入。此外，ChatGPT还可以自动生成测试数据，使测试过程更全面和有效。因此，ChatGPT有望在未来成为软件开发测试领域不可或缺的力量，帮助提高软件质量，降低开发成本和风险。