前言
随着软件测试行业的快速发展，去测试化、全员测开化的趋势，技术测试已成为确保软件质量不可或缺的一环。
但对于许多没有代码基础或缺乏系统性自动化知识的测试人员来说，如何入手并实现高质量的自动化测试成为了一个挑战。
为此，我编写了这款自动化测试框架脚手架，给大家提供思路和引导。
它基于Python语言，结合强大的pytest测试框架进行二次开发并融合request、allure、log、openpyxl、pandas、mysql、oracle以及邮件通知等技术；
旨在为测试人员提供简单、高效、易用且灵活的自动化测试解决方案，轻松应对各种复杂的测试场景。
源码暂不开源，作为我的第一篇知识付费，付费后获取下载链接，可免费讲解。
下载地址：点击 > 微信公众号: 测试开发的烦恼
技术选型
- 编程语言：Python 3.8.5
- 测试框架：Pytest 8.2.0
- 测试报告：Allure 2.13.5
- 网络请求：requests 2.25.1
- 响应断言：jsonpath 0.82.2 | jsonpath-ng 1.6.1
- 数据文件读取：Openpyxl 3.1.2 | pandas 2.2.2
- 数据库操作：PyMysql 1.1.0 | cx_Oracle 8.3.0
- …
- pytest：python的一个单元测试框架 https://docs.pytest.org/en/latest/
- pytest-xdist：pytest的一个插件，可多进程同时执行测试用例 https://github.com/pytest-dev/pytest-xdist
- allure-pytest：用于生成测试报告 http://allure.qatools.ru/
- requests：用于HTTP请求 http://docs.python-requests.org/en/master/
- cx_Oracle：用于操作Oracle数据库 https://cx-oracle.readthedocs.io/en/latest/index.html
- PyMySQL：用于操作MySQL数据库 https://github.com/PyMySQL/PyMySQL
框架实现功能
- 参数化与数据驱动：本框架通过数据驱动的方式，实现了测试业务和测试数据的完全隔离。这不仅降低了测试人员的工作量，还提高了测试数据的可维护性和复用性。
- 自动生成测试代码：测试人员无需编写繁琐的测试代码，测试人员只需在Excel文件中按照模板填写测试数据，框架便能自动生成对应的测试用例函数代码。这不仅降低了测试人员的技术门槛，还提高了测试效率。
- 串联接口数据依赖：在复杂的业务场景中，接口之间往往存在数据依赖关系。本框架支持这种依赖关系，例如C接口可以依赖B接口响应内容中的部分数据，而B接口又可以依赖于A接口的返回结果。这种依赖关系的支持，使得框架能够更好地模拟真实业务场景，提高测试的覆盖率。
- 动态替换测试数据：本框架支持在请求头、请求报文以及前后置SQL语句中进行动态数据替换，使得测试数据更加真实、灵活。这一特性有助于模拟实际场景中的各种情况，提高测试的准确性和可靠性。
- 支持多种场景断言：可以同时验证响应结果、数据库、第三方接口等多个方面的数据。这种动态多断言机制能够全面覆盖各种测试场景，确保接口的稳定性和可靠性。
- 统计接口运行耗时：作为扩展功能，本框架提供了接口运行耗时的统计功能。测试人员可以根据需要开启或关闭该功能，以便更好地分析接口性能瓶颈和优化方向。
- 环境清理与断言：在测试执行前后，框架能够自动执行SQL语句进行环境清理或断言，确保测试环境的纯净性和测试结果的准确性。这有助于减少测试之间的相互影响，提高测试的可重复性。
- 日志记录与报告生成：本框架提供了详细的日志记录功能，能够记录测试过程中的关键信息和错误信息，方便测试人员进行问题追踪和定位。同时，结合allure插件，框架能够自动生成美观易读的测试报告，展示测试结果、统计数据和失败原因等信息，为团队成员提供全面的测试反馈。
- 公共变量与二次处理：本框架支持将SQL语句查询结果以及响应内容存储到公共变量池中，方便测试人员在测试过程中共享和使用数据。同时，框架还提供了丰富的二次处理功能，如字符串截取、替换、计数、仅保留数字、执行正则表达式以及JSONPath表达式等，满足测试人员对数据处理的多样化需求。
- 多线程执行测试用例：为了提高测试效率，框架支持多进程执行测试用例，可根据计算机的核心数量自动适应。
- 即时邮件通知功能：测试执行完成后，本框架支持发送邮件通知。测试人员可以自定义邮件内容，包括测试结果、失败用例详情等信息。这种邮件通知机制使得测试结果传递更加高效，方便相关人员及时了解测试情况并作出响应。
Excel 字段说明
- 用例序号：为每一个测试用例分配唯一的序号，便于标识和管理。
- 用例信息：详细记录每个测试用例的关键信息，包括名称、描述、所属模块、功能、接口名称以及生成路径等，确保测试的全面性和可追溯性。
- 执行开关：灵活控制测试用例的执行状态，通过设置执行开关（如“Y”代表执行，其他代表不执行），实现对测试范围的精确控制。
- 关联序号：利用用例序号构建复杂的接口链路测试场景，模拟真实业务环境中的接口交互过程。
- 请求头部：支持配置接口请求时的头部数据，包括参数化动态替换，确保请求符合接口规范。
- 请求地址：指定接口请求发送的目标服务器地址。
- 请求方式：支持多种请求方式，如GET、POST、DELETE、PUT等，适应不同接口的需求。
- 请求参数类型：根据接口类型和内容，灵活选择params查询字符串、data表单或json对象等参数类型
- 请求参数内容：与“请求参数类型”相匹配的请求参数内容。
- 响应断言：提供丰富的响应验证机制，包括响应代码、响应信息、响应耗时以及通过JSONPath表达式进行验证，确保接口返回的数据符合预期。
- 前置SQL处理：在接口请求发送前执行SQL语句，用于清理测试环境、准备测试数据或查询数据用于报文参数化。
- 后置SQL处理：在接口请求发送后执行SQL语句，用于清理测试环境、验证数据状态或查询数据用于后续测试。
- 公共变量处理：提供公共变量管理机制，支持对场景测试中产生的变量进行修改或另辟，包括字符串截取、字符串替换、字符串计数、正则表达式执行、JSONPath提取等功能，增强测试数据的灵活性和可维护性。
用例信息详解
在“用例信息”列中，需要填写一个符合特定格式的JSON字符串。
这个JSON字符串必须包含以下七个关键字段：“用例名称”、“用例描述”、“模块名称”、“功能名称”、“接口名称”、“存放路径”以及“所属标记”。
其中，“模块名称”、“功能名称”、“接口名称”、“用例名称”和“所属标记”这几个字段的用于丰富Allure报告的内容。
要求这些数据填写在Excel中，实际上是为了动态地配置Allure报告中的标题、描述等关键信息。
通过这种方式，我们可以确保生成的测试报告内容充实、结构清晰，便于团队成员理解和分析测试结果。
此外，“接口名称”和“存放路径”这两个字段在测试数据的构建过程中发挥着重要作用。
它们不仅用于标识特定的测试接口，还指定了自动生成测试函数文件的存放位置。
这样，测试框架就能根据这些信息准确地找到所需的测试数据，并将生成的测试函数文件保存在正确的路径下。
要求格式如下所示:
{
"用例名称": "登录-获取用户类型-001",
"用例描述": "登录模块-获取用户类型功能的测试用例描述，传递正确的参数，通过断言",
"模块名称": "登录",
"功能名称": "获取用户类型",
"接口名称": "login",
"存放路径": "LoginDirs",
"所属标记": [
"冒烟测试1",
"冒烟测试2"
]
}
关联序号详解
接口测试通常分为两种：独立接口，关联接口；
独立接口测试：指的是那些不依赖于其他数据源，只需按照接口文档要求正确提供参数即可进行测试的接口；
关联接口测试：则涉及多个接口之间的依赖关系，例如C接口需要依赖B接口响应内容中的部分数据，而B接口又依赖于A接口的返回结果；
在这种场景下：为了测试C接口，必须首先执行A接口，再执行B接口，并将A接口的返回数据传递给B接口，最后将B接口的返回数据传递给C接口；为了更有效地支持“testcase”文件的自动生成、Allure报告中对执行步骤的详细记录，以及关联接口之间变量的共享；
决定放弃使用pytest-dependency和pytest-ordering等插件。
选择自定义一种更适合当前框架的数据结构，并将其传递给特定的case函数中使用；
这样，我们可以更灵活地控制测试用例的执行顺序和依赖关系，同时确保变量在关联接口之间得到正确的共享和传递；读取指定路径的Excel文件，获取指定的sheet名称全部数据（这些数据以列表嵌套字典的形式呈现，确保每个元素都是易于解析和操作的结构化数据）；
对提取出的数据进行遍历和处理，目的是识别并分离出独立案例和关联案例。
独立案例收集规则：
- 如果其“执行开关”列值为Y、“关联序号”列值为空，并且“用例序号”没有在“关联序号”列中的任何位置出现；
- 将以“用例信息”列中的“接口名称”（以json格式提供）作为key，整行数据作为value；
关联案例收集规则：- 当一个用例的“执行开关”为’Y’且“关联序号”不为空时，该用例将被视为关联案例的一部分；
- 所有在“关联序号”列中存在的“用例序号”的数据将从独立案例字典中删除，并按顺序添加到子列表中，最后将“关联序号”不为空数据行添加到列表末尾。
- 将以子列表中所有“用例信息”列中的“接口名称”（以json格式提供）拼接成以“-”分隔的字符串作为key，子列表作为value；
最终测试数据结构：
{key1: [[{}, {}, {}]], key2: [[{}, {}, {}]], key3: [[{}, {}, {}]], …}
响应断言详解
代码设计思想
利用JSONPath对响应内容完成断言校验
1.断言响应代码
2.断言响应信息
3.断言响应text中是否包含某值
4.断言响应json中是否包含某jsonpath路径
5.断言响应json中的某jsonpath路径下的值是否符合预期
6.断言响应json中的某jsonpath路径下的值是否满足比较运算
7.断言响应耗时是否小于预期耗时
8.获取响应json中的某jsonpath路径下的值
- JSONPath是一种用于在JSON（JavaScript Object Notation）数据中定位和提取特定元素的查询语言。
- 它类似于XPath对XML的作用，可以帮助我们轻松地按照特定的路径表达式从复杂的JSON结构中获取所需的数据。
- 使用JSONPath，可以指定一个或多个路径表达式，以匹配JSON数据的特定部分。
- 这些路径表达式由一系列操作符、通配符和属性键组成，用于描述所需数据的位置和结构。
- JSONPath还支持过滤器，可以根据条件筛选出满足要求的数据。
- 模拟一个接口响应内容（响应内容按照封装后的格式，详见RequestUtils.py封装文件）
mock_response = {
"response_text": "xxxxxxxxxxxxxx假设这是一个接口的响应text文本内容xxxxxxxxxxxxxx",
"response_json": {
"name": "zhangsan",
"age": 30,
"address": "上海市浦东新区",
"phone": "13800001234",
"cars": [
{"model": "Ford", "mpg": 25.0},
{"model": "BMW", "mpg": 28.0},
{"model": "Fiat", "mpg": 30.0}
]
},
"response_code": 200,
"response_info": "ok",
"response_time": 1,
"response_url": "xxx",
"response_xxx": "..."
}
# 创建断言工具对象
assert_tool = AssertUtils(mock_response)
# 进行断言测试
assert_tool.assert_status_code(200)
assert_tool.assert_status_message('OK')
print(assert_tool.get_jsonpath_value('$.name')) # zhangsan
assert_tool.assert_jsonpath_exists('$.cars[0]')
assert_tool.assert_jsonpath_exists('$.cars[1]')
print(assert_tool.get_jsonpath_value('$.cars[0]')) # {'model': 'Ford', 'mpg': 25.0}
assert_tool.assert_jsonpath_value('$.cars[0]["mpg"]', 25.0)
assert_tool.assert_contains_text("123")
assert_tool.assert_jsonpath_value_compare('$.cars[0]["mpg"]', 25, "等于")
assert_tool.assert_response_time(10.5)
填写格式和断言类型
针对断言功能，做了统一的调用封装，以便在Excel文件中填写符合特定格式的JSON字符串时能够便捷使用。
该封装支持七大类断言操作，分别是“响应代码”验证、“响应信息”校验、“响应耗时”分析、“文本查找”功能、“路径查找”机制、“数据比较”逻辑以及“存储变量”操作。
这些断言操作可以根据实际需求任意搭配使用，一个或多个均可；
针对断言数据的填写进行了汉化处理，旨在提供更加友好、易于理解的用户体验。
其中，“数据比较”功能尤为关键，它支持数值的大小运算以及字符串的相等运算，满足了复杂的数据校验需求。
此外，“存储变量”功能允许将响应内容中的数据保存到公共变量池中，这样在后续的关联案例中，如请求头、请求参数、SQL语句等数据依赖时，可以方便地引用这些变量，提高了测试用例的复用性和维护性。
{
"响应代码": [
{
"预期值": "200"
}
],
"响应信息": [
{
"预期值": "OK"
}
],
"响应耗时": [
{
"预期值": "5"
}
],
"文本查找": [
{
"预期值": "success"
}
],
"路径查找": [
{
"JSONPath": "$.status"
}
],
"数据比较": [
{
"JSONPath": "$.status",
"预期值": "success",
"运算符": "等于"
}
],
"存储变量": [
{
"JSONPath": "$.userinfo.usertype",
"变量名称": "UserType66"
}
]
}
前后置SQL处理详解
代码设计思想
- 利用正则表达式技术，精准匹配并提取出每一条SQL语句中所有以${xxx}形式包裹的占位符。
- 随后，将这些占位符与公共变量池中的数据进行同名绑定，实现占位符的自动替换功能，确保SQL语句的正确执行。
- 为了提高数据库操作的性能，采用了数据库连接池技术。
- 连接池能够高效地管理和复用数据库连接，避免了频繁地创建和关闭连接所带来的性能损耗，从而显著提升了系统的整体响应速度。
- 在执行SQL语句时，将数据库操作分为两大类：查询和其他操作。
- 对于查询操作，将查询结果按照指定的变量名称一一对应地保存到公共变量池中，以便后续操作能够方便地引用这些结果数据。
- 如果未上送变量名称，则默认以数据库字段名作为变量名保存到公共变量池。
- 对于其他操作（增、删、改），默认记录受影响的行数，并将其作为操作结果的一部分进行返回。
- 此外，需要注意的是，如果指定的变量名称或数据库字段存在重复，我们会优先使用最新的数据，即覆盖已有数据，以确保数据的准确性和一致性。
填写格式和操作类型
要求在Excel文件中填写符合特定格式的JSON字符串
{
"查询": [
{
"变量名称": {},
"执行语句": "select sno,sname from student where sno = 111"
},
{
"变量名称": {
"sno": "student_no1",
"sname": "student_name1"
},
"执行语句": "select sno,sname from student where sno = 112"
},
{
"变量名称": {
"sno": "student_no2",
"sname": "student_name2"
},
"执行语句": "select sno,sname from student where sno = 113"
}
],
"其他": [
{
"变量名称": "count1",
"执行语句": "INSERT INTO student(sno, sname, ssex, sbirthday, sclass) VALUES('116', '鱼丸子', '女', NULL, '95031')"
},
{
"变量名称": "count2",
"执行语句": "DELETE FROM tudent WHERE sno > 999"
}
]
}
公共变量处理详解
代码设计思想
在关联案例测试中，被测接口往往依赖于一系列特定的变量值来执行其功能。
然而，实际获取的原始数据可能无法直接使用，这就需要对数据二次处理，以便其能够更精准地应用于测试场景。
二次处理的过程可能涉及多种操作，比如从数据库或外部数据源获取的字符串数据，可能需要进行截取、替换或正则匹配等步骤，以提取出测试所必需的关键信息。
以身份证号码为例，我们可能需要通过截取的方式，从身份证号码中提取出生年月日信息，以满足birthday字段的yyyyMMdd格式要求。
通过一系列的数据转换和格式化操作，将原始数据转化为符合测试要求的格式或状态。
这样，就能够更加高效、准确地执行测试，从而确保被测接口的功能正常且符合预期。
这种处理的核心原理在于数据处理和转换的灵活性，它使得我们能够适应各种不同的测试场景和需求。
填写格式和操作类型
[
{
"变量名称": "被处理的变量名称",
"处理类型": "字符串截取",
"处理规则": "start_index:end_index:step_index",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
},
{
"变量名称": "被处理的变量名称",
"处理类型": "字符串替换",
"处理规则": "old_text:new_text",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
},
{
"变量名称": "被处理的变量名称",
"处理类型": "字符串计数",
"处理规则": "",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
},
{
"变量名称": "被处理的变量名称",
"处理类型": "正则表达式",
"处理规则": "正则表达式语句",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
},
{
"变量名称": "被处理的变量名称",
"处理类型": "仅保留数字",
"处理规则": "",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
},
{
"变量名称": "被处理的变量名称",
"处理类型": "JSONPath提取",
"处理规则": "JSONPath语句",
"变量保存": "变量是否需要另存，如果为空则覆盖原变量"
}
]
数据动态替换策略
本框架在处理请求头、请求报文以及前后置SQL语句时，支持动态数据替换功能。在数据替换的过程中，每项数据都会经历两次扫描操作。
第一次扫描所有形如${xxxx}的占位符：
对于这些占位符，框架会尝试在公共变量池中查找与其同名的变量，并将这些变量的值替换到相应的占位符位置。第二次扫描所有形如${xxxx}的占位符：
此时，框架会执行与占位符同名的内置函数，并将函数执行的结果替换到占位符上。
同时，框架还会将占位符中的内容作为键（key），将函数执行的结果作为值（value），保存到公共变量池中，以便后续可能的使用。如果经过这两次扫描和替换操作后，公共变量池和内置函数都无法完成某个占位符的替换，框架将会抛出一个异常错误，以提示用户存在无法处理的占位符或相关的配置问题。
自动生成testcase文件
在编写好Excel文件之后，可以直接执行 TestcaseAutomaticGenerate.py 会根据你设计的测试用例数据，进行构建独立testcase还是关联testcase。
安装教程
- 搭建 python 环境：Python安装 Pycharm安装
- 搭建 allure 环境：Allure安装 Java JDK安装
安装依赖库
如上环境如都搭建好，则安装本框架的所有第三方库依赖，执行如下命令
pip3 install -r requirements.txt
使用方法
- 在Excel文件中按照模板填写各类数据，框架会自动根据编写的测试用例数据生成pytest对应的testcase代码。
- 根据需求在config/setting.yaml文件中配置：logger、project、excel、email相关数据。
- 当Excel文件编写好之后，直接运行main.py主程序，执行所有自动化接口
- 在output/reports/html中会生成最新的测试报告
独立用例编写
关联用例编写
邮件通知
实现了测试用例执行通过率反馈、失败信息回溯、日志文件附件
测试报告
实现了非CI模式下，pytest中使用allure生成的报告，附有历史趋势信息
详细的记录了所有测试用例的执行过程和数据变化，让错误有迹可循
目录结构
├── common
│ ├── excel
│ │ ├── OpenpyxlUtils.py Excel工具类1
│ │ └── PandasUtils.py Excel工具类2
│ ├── logger
│ │ └── LoggerUtils.py 日志收集工具类
│ ├── mysql
│ │ ├── MysqlConnectionPool.py Mysql数据库连接池
│ │ └── MysqlOperationUtils.py Mysql数据库增删改查工具类
│ ├── oracle
│ │ ├── OracleConnectionPool.py Oracle数据库连接池
│ │ └── OracleOperationUtils.py Oracle数据库增删改查工具类
│ ├── AssertUtils.py 响应内容断言工具类
│ ├── ConfigparserUtils.py 配置文件读写工具类
│ ├── DatetimeUtils.py 时间日期工具类
│ ├── FileUtils.py 文件或目录工具类
│ ├── JSONPathUtils.py JSON数据增删改查工具类
│ ├── RequestUtils.py HTTP网络请求工具类
│ ├── ShellUtils.py shell命令执行工具类
│ ├── YamlUtils.py yaml文件增删改查工具类
├── config
│ ├── setting.yaml 框架整体配置
│ ├── database.ini 数据库连接配置
│ ├── PathConfig.py 框架内文件路径配置
├── output
│ ├── documents 框架实现文档、策略文档
│ ├── logs 执行日志
│ ├── reports 测试报告
├── services
│ ├── core
│ │ ├── AllureCustormization.py Allure报告定制化
│ │ ├── DatagramProcess.py 测试数据预处理
│ │ ├── EmailNotification.py 邮件通知
│ │ ├── TestcaseAutomaticGenerate.py 自动生成测试函数代码
│ ├── CheckInstanceType.py 报文类型检查
│ ├── ExtendedDecorator.py 扩展装饰器
│ ├── FakeDataHook.py 造数函数封装
│ ├── RelevanceCaseData.py 测试数据组装
│ ├── ReplaceCaseData.py 测试数据动态替换
│ ├── ResponseModel.py 响应模型
├── testcase 测试函数代码
│ ├── template
│ │ ├── single
│ │ │ └── test_single_case.py 独立用例测试函数代码示例
│ │ ├── multiple
│ │ │ └── test_multiple_case.py 关联用例测试函数代码示例
├── testdata
│ ├── test_example.xlsx 测试用例数据文件示例
├── tools
│ ├── allure-2.10.0.zip allure插件
│ └── ...
├── README.md 帮助文档
├── pytest.ini pytest框架配置文件
├── main.py 运行入口
├── requirements.txt 依赖库文档
依赖库
allure-pytest==2.13.5
allure-python-commons==2.13.5
attrs==23.2.0
certifi==2024.2.2
chardet==4.0.0
charset-normalizer==3.3.2
cx_Oracle==8.3.0
DBUtils==3.1.0
et-xmlfile==1.1.0
exceptiongroup==1.2.1
execnet==2.1.1
Faker==24.11.0
idna==2.5
iniconfig==2.0.0
jsonpath==0.82.2
jsonpath-ng==1.6.1
numpy==1.26.4
openpyxl==3.1.2
packaging==24.0
pandas==2.2.2
pluggy==1.5.0
ply==3.11
PyMySQL==1.1.0
pytest==8.2.0
pytest-ordering==0.6
pytest-repeat==0.9.3
pytest-rerunfailures==14.0
pytest-xdist==3.6.1
python-dateutil==2.9.0.post0
pytz==2024.1
PyYAML==6.0.1
requests==2.25.1
six==1.16.0
tomli==2.0.1
tzdata==2024.1
urllib3==1.26.5
xlrd==2.0.1
