使用 Azure DevOps 进行 UI 测试

本指南介绍如何修改现有的 Azure Pipelines 生成,该版本创建应用程序二进制 (或文件) ,以添加在 App Center Test 中运行测试套件的 .apk .ipa App Center Test 任务。

Azure Pipelines作为 Azure DevOps Services 的一Azure DevOps Services。 Azure Pipelines可帮助你为任何应用实现生成、测试和部署管道。 有关 Azure DevOps Services 或 Azure Pipelines,请参阅 Azure DevOps 文档Azure Pipelines文档。

使用 App Center 测试Azure Pipelines,可以在 App Center Test 中运行测试套件。 可以使用 Appium、XCUItest、Espresso 和 Xamarin.UITest 框架。 在"测试支持的框架"页上App Center框架。

本指南中每个框架都有自己的部分,可在其中阅读有关在 Azure Pipelines 中设置 App Center 测试任务定义的基本要求。

常规配置步骤

开始之前

在开始测试之前,需要以下各项:

  • 一Azure Pipelines生成,用于创建应用程序二进制 (.apk .ipa 或文件) 。
  • 一个App Center测试帐户。 可以在 App Center 激活 App Center 测试的App Center。 首先选择应用,然后在左侧菜单中选择"测试"。
  • 将管道配置为使用 Node 10.x.x。 阅读如何阅读Azure DevOps文档,该文档是有关 Javascript 的,但原则也适用于此处。

Azure Pipelines 常规配置

找到 Azure Pipelines 项目,然后将其打开进行 编辑。 单击 " + 添加新任务",然后搜索 应用中心App Center 测试 Azure Pipelines 搜索屏幕

单击 App Center 测试 任务旁的 "添加"。 在屏幕左侧,单击 带有 Visual Studio App Center 任务的添加的测试以选择并修改它。 App Center 测试 任务划分为多个部分。 App Center 测试任务的 "常规" 部分

在顶部的 " .apk .ipa 二进制应用程序文件路径 " 字段中,插入应用二进制 (或) 的路径。

正在连接到 App Center 测试

使用服务之前登录到 App Center;可以使用两种身份验证方法。

第一种方法使用 API 令牌;获取帐户的 API 令牌:

  • 登录到 App Center 并单击 App Center 门户左上角的 "用户设置" 图标。
  • 在出现的菜单中,选择 " 帐户设置"。
  • 在 " 设置 " 面板中,选择 " API 令牌"。
  • 单击面板右上角的 " 新建 API 令牌 " 按钮。
  • 为新的 API 令牌命名-例如,你可以将它称为 Azure DevOps。 将来,此名称将帮助你识别正在使用该服务的服务。 显示生成的 API 令牌的屏幕
  • 单击 " 添加新 API 令牌 " 按钮。 弹出窗口显示新的 API 令牌;此弹出窗口 是显示此 App Center的唯一时间。 单击剪贴板按钮,将 API 令牌复制到浏览器的剪贴板。 将 API 令牌保存到 (Azure Key Vault,例如) 以后可根据需要再次安全地引用它。

使用剪贴板上的 API 令牌:

  • 切换到Azure DevOps Services窗口。 在 "App Center测试"任务的"运行"部分中,单击"App Center"按钮
  • 使用连接名称填充窗体的 "名称"字段 (例如:App Center) 。
  • 将App Center API 令牌粘贴到 API 令牌 字段中。
  • 单击"关闭"完成设置。

请确保新创建的连接显示在"连接App Center字段中。 App Center"运行"部分中的"测试身份验证"

第二种方法使用App Center凭据:

  • "身份验证 方法 "下拉菜单中选择 "凭据"。
  • 使用 App Center帐户****的凭据App Center" 用户名"和"密码"App Center字段。

备注

你的App Center用户名位于App Center 配置文件 中。 如果使用 Microsoft 凭据登录,请设置具有密码的帐户,否则任务无法登录。 可以在中设置App Center。

Appium

Appium 的 Azure Pipelines 配置

首先将 App Center 测试任务添加到生成定义,如前文所 Azure Pipelines 常规配置中所述。

Appium 框架的 "准备测试" 部分

在 "准备测试" 部分中,确保选中 " 准备测试 " 复选框,然后为 " 测试框架" 选择 Appium 测试框架。 将 Appium 测试类、依赖项和文件的路径插入 pom.xml 到 " 生成目录 " 字段。 这三个项目通常位于 upload 文件夹中。

现在,你可以配置测试运行。 你需要的所有信息都可通过在 App Center 中的 "测试" 下创建新测试来找到。 按照 启动测试运行中的说明进行操作。 将) 打开 "测试运行安装程序" 的 "提交" 页 (最后一页,以便您可以在设置 App Center 测试任务时使用该信息。

appcenter test run appium --app "username/appname" --devices 209ed689
 --app-path pathToFile.apk --test-series "main" --locale "en_US"
  --build-dir target/upload

App Center 测试任务的 "运行" 部分

  • 在 "提交" 页上,应用程序信息区是 --app 参数。 将其插入到 " 应用程序信息 栏" 字段。
  • 设备选择是 --devices 参数。 将其插入到 " 设备 " 字段。
  • 测试序列 是一个自由文本字段-它可以是任何内容。 它是 --test-series 参数。
  • 系统语言 是一个下拉菜单。 如果选择 " 其他 ",则会显示 " 其他区域设置 " 字段,你可以在其中输入如下格式的语言和国家/地区代码: en_US

保存配置,并将其设置为启动生成并 App Center 测试运行。

意大利浓咖啡

Azure Pipelines Espresso 的配置

首先,将App Center测试任务添加到生成定义,如常规Azure Pipelines 中所述

为 Espresso 框架准备测试部分

在"准备测试"部分中,确保选中"准备测试"复选框,然后对于"测试 框架",选择 "Espresso Test Framework"。

现在可以配置测试运行。 只需在"测试"下的"测试"下创建新测试,App Center。 按照启动测试 运行 中的说明进行操作。 将测试运行 (最后一页上的提交页) 打开,以便可以在设置测试任务时App Center该信息。

appcenter test run espresso --app "username/appname" --devices 209ed689
 --app-path pathToFile.apk --test-series "main" --locale "en_US"
  --build-dir pathToEspressoBuildFolder

测试任务的App Center部分

  • 在提交页上,应用 slug 是 --app 参数。 将其插入到 "应用 Slug" 字段中。
  • 设备选择是 --devices 参数。 将其插入到" 设备" 字段中。
  • 测试系列 是一个自由文本字段 - 可以是任何内容。 它是 --test-series 参数。
  • 系统语言 是一个下拉菜单。 如果 选择了" 其他",则会出现"其他区域设置"字段,可在其中输入语言和国家/地区代码,如下所示 en_US :。

保存配置,你已全部设置为开始生成并App Center测试运行。

Xamarin.UITest

UITest 的 Azure Pipelines 配置

首先将 App Center 测试任务添加到生成定义,如前文所 Azure Pipelines 常规配置中所述。

UITest 框架的 "准备测试" 部分

在 "准备测试" 部分中,确保选中 "准备测试" 复选框,并在 "测试框架" 下选择 " Xamarin UI 测试"。 插入生成目录的路径;大多数情况下,build 文件夹为: <ProjectName>/bin/<configuration>

现在,你可以配置测试运行。 你需要的所有信息都可通过在 App Center 中的 "测试" 下创建新测试来找到。 按照 启动测试运行中的说明进行操作。 将) 打开 "测试运行安装程序" 的 "提交" 页 (最后一页,以便您可以在设置 App Center 测试任务时使用该信息。

appcenter test run uitest --app "username/appname" --devices 209ed689
 --app-path pathToFile.apk --test-series "main" --locale "en_US"
  --build-dir pathTUITestBuildDir

App Center 测试任务的 "运行" 部分

  • 在 "提交" 页上,应用程序信息区是 --app 参数。 将其插入到 " 应用程序信息 栏" 字段。
  • 设备选择是 --devices 参数。 将其插入到 " 设备 " 字段。
  • 测试序列 是一个自由文本字段-它可以是任何内容。 它是 --test-series 参数。
  • 系统语言 是一个下拉菜单。 如果 选择了" 其他",则会出现"其他区域设置"字段,可在其中输入语言和国家/地区代码,如下所示 en_US :。

保存配置,你已全部设置为开始生成并App Center测试运行。

XCUITest

备注

在管道中,在App Center测试任务之前,需要一个 Xcode 任务步骤,其操作是生成测试所需的测试 build-for-testing 运行程序应用。 在此任务 中,在"高级"部分的参数下,指定派生数据路径,通常使用 -derivedDataPath DerivedData 。 还需要为应用程序 .ipa file 提供 。 可以通过选中 选项,在单独的 Xcode 生成步骤或 Bash 脚本步骤中,在同一 .ipa file build-for-testing Create app package Xcode 任务 中生成 。

Azure Pipelines XCUITest 的配置

首先,将App Center测试任务添加到生成定义,如常规Azure Pipelines 中所述

为 XCUITest 框架准备测试部分

在"准备测试"部分中,确保选中"准备测试"复选框,并确保在"测试框架"下选择了 "XCUITest"。 从 Xcode 步骤插入生成目录 build-for-testing 的路径。 通常,生成文件夹为 DerivedData/Build/Products/Debug-iphoneos/ :。

现在可以配置测试运行。 只需在"测试"下的"测试"下创建新测试,App Center。 按照启动测试 运行 中的说明进行操作。 将测试运行 (最后一页上的提交页) 打开,以便可以在设置测试任务时App Center该信息。

appcenter test run xcuitest --app "username/appname" --devices 209ed689 --test-series "main" --locale "en_US" --build-dir pathToXCUItestBuildFolder

测试任务的App Center部分

  • 在 "提交" 页上,应用程序信息区是 --app 参数。 将其插入到 " 应用程序信息 栏" 字段。
  • 设备选择是 --devices 参数。 将其插入到 " 设备 " 字段。
  • 测试序列 是一个自由文本字段-它可以是任何内容。 它是 --test-series 参数。
  • 系统语言 是一个下拉菜单。 如果选择 " 其他 ",则会显示 " 其他区域设置 " 字段,你可以在其中输入如下格式的语言和国家/地区代码: en_US

保存配置,并将其设置为启动生成并 App Center 测试运行。