Medición del rendimiento de Azure Cosmos DB for NoSQL con un marco de pruebas comparativas

Hay más opciones ahora que nunca en el tipo de base de datos que se usará con la carga de trabajo de datos. Uno de los factores clave para elegir una base de datos es el rendimiento de la base de datos o el servicio, pero el rendimiento de las pruebas comparativas puede ser complicado y propenso a errores. El marco de pruebas comparativas para bases de datos de Azure simplifica el proceso de medición del rendimiento con herramientas de pruebas comparativas de código abierto populares con recetas de baja fricción que implementan procedimientos recomendados comunes. En Azure Cosmos DB for NoSQL, el marco implementa los procedimientos recomendados para el SDK de Java y usa la herramienta YCSB de código abierto. En esta guía, usará este marco de pruebas comparativas para implementar una carga de trabajo de lectura para familiarizarse con el marco.

Prerrequisitos

• Una cuenta de Azure con una suscripción activa. Cree una cuenta gratuita.
• Cuenta de Azure Cosmos DB for NoSQL. Creación de una API para una cuenta de NoSQL.
  • Asegúrese de anotar el URI del punto de conexión y la clave principal de la cuenta. API para claves principales de NoSQL.
• Cuenta de Azure Storage. Cree una cuenta de Azure Storage.
  • Asegúrese de anotar la cadena de conexión para la cuenta de almacenamiento. Cadena de conexión de Azure Storage.
• Segundo grupo de recursos vacío. Cree un grupo de recursos.
• Interfaz de la línea de comandos (CLI) de Azure .

Crear recursos de una cuenta de Azure Cosmos DB

En primer lugar, creará una base de datos y un contenedor en la API existente para la cuenta de NoSQL.

Azure Portal

1. Vaya a la cuenta de API for NoSQL en Azure Portal.

2. En el menú de recursos, seleccione Explorador de datos.

   

3. En la página Data Explorer, seleccione la opción Nuevo contenedor en la barra de comandos.

   

4. En el cuadro de diálogo Nuevo contenedor, cree un contenedor con la siguiente configuración:

   Configuración	Value
   Id. de base de datos	ycsb
   Tipo de rendimiento de la base de datos	Manual
   Cantidad de rendimiento de la base de datos	400
   Id. de contenedor	usertable
   Clave de partición	/id

   

CLI de Azure

1. Si aún no lo ha hecho, inicie sesión en la CLI de Azure con el comando az login.

2. Cree variables de shell para los siguientes valores:

   • Nombre de la cuenta existente de Azure Cosmos DB for NoSQL denominada cosmosAccountName.
   • Nombre del primer grupo de recursos con recursos denominados sourceResourceGroupName.
   • Nombre del segundo grupo de recursos vacío denominado targetResourceGroupName.
   • URI de punto de conexión de la cuenta de Azure Cosmos DB for NoSQL existente denominada cosmosEndpoint
   • Clave principal de la cuenta de Azure Cosmos DB for NoSQL existente denominada cosmosPrimaryKey

   # Variable for Azure Cosmos DB for NoSQL account name
   cosmosAccountName="<cosmos-db-nosql-account-name>"
   
   # Variable for resource group with Azure Cosmos DB and Azure Storage accounts
   sourceResourceGroupName="<first-resource-group-name>"
   
   # Variable for empty resource group
   targetResourceGroupName="<second-resource-group-name>"
   
   # Variable for API for NoSQL endpoint URI
   cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"
   
   # Variable for API for NoSQL primary key
   cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"
   
   # Variable for Azure Storage account name
   storageAccountName="<storage-account-name>"
   
   # Variable for storage account connection string
   storageConnectionString="<storage-connection-string>"
   

3. Con el comando az cosmosdb sql database create, cree una nueva base de datos con la siguiente configuración:

   Configuración	Value
   Id. de base de datos	ycsb
   Tipo de rendimiento de la base de datos	Manual
   Cantidad de rendimiento de la base de datos	400

   az cosmosdb sql database create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --name "ycsb" \
       --throughput 400
   

4. Con el comando az cosmosdb sql container create, cree un nuevo contenedor con la siguiente configuración:

   Configuración	Value
   Id. de base de datos	ycsb
   Id. de contenedor	usertable
   Clave de partición	/id

   az cosmosdb sql container create \
       --resource-group $sourceResourceGroupName \
       --account-name $cosmosAccountName \
       --database-name "ycsb" \
       --name "usertable" \
       --partition-key-path "/id"
   

Implementación del marco de pruebas comparativas en Azure

Ahora, usará una plantilla de Azure Resource Manager para implementar el marco de pruebas comparativas en Azure con la receta de lectura predeterminada.

Azure Portal

1. Implemente el marco de pruebas comparativas mediante una plantilla de Azure Resource Manager disponible en este vínculo.

   

2. En la página Implementación personalizada, los parámetros siguientes

   

3. Seleccione Revisar y crear y, a continuación, Crear para implementar la plantilla.

4. Espere a que la implementación se complete.

   Sugerencia

   La implementación puede tardar entre 5 y 10 minutos en completarse.

CLI de Azure

1. Use az deployment group create para implementar el marco de pruebas comparativas mediante una plantilla de Azure Resource Manager.

   # Variable for raw template JSON on GitHub
   templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"
   
   az deployment group create \
       --resource-group $targetResourceGroupName \
       --name "benchmarking-framework" \
       --template-uri $templateUri \
       --parameters \
           adminPassword='P@ssw.rd' \
           resultsStorageConnectionString=$storageConnectionString \
           cosmosURI=$cosmosEndpoint \
           cosmosKey=$cosmosPrimaryKey
   

2. Espere a que la implementación se complete.

   Sugerencia

   La implementación puede tardar entre 5 y 10 minutos en completarse.

Visualización de los resultados de la prueba comparativa

Ahora, puede usar la cuenta de Azure Storage existente para comprobar el estado del trabajo de prueba comparativa y ver los resultados agregados. El estado se almacena mediante una tabla de almacenamiento y los resultados se agregan a un blob de almacenamiento con el formato CSV.

Azure Portal

1. Vaya a la cuenta de Azure Storage existente en Azure Portal.

2. Vaya a una tabla de almacenamiento denominada ycsbbenchmarkingmetadata y busque la entidad con una clave de partición de ycsb_sql.

   

3. Observe el campo JobStatus de la entidad de tabla. Inicialmente, el estado del trabajo es Started e incluye una marca de tiempo en la propiedad JobStartTime, pero no en la propiedad JobFinishTime.

4. Espere hasta que el trabajo tenga un estado de Finished e incluya una marca de tiempo en la propiedad JobFinishTime.

   Sugerencia

   El trabajo puede tardar aproximadamente entre 20 y 30 minutos en completarse.

5. Vaya al contenedor de almacenamiento en la misma cuenta con un prefijo de ycsbbenchmarking-*. Observe los blobs de salida y diagnóstico de la herramienta.

   

6. Abra el blob aggregation.csv y observe el contenido. Ahora debería tener un conjunto de datos CSV con resultados agregados de todos los clientes de pruebas comparativas.

   

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

CLI de Azure

1. Consulte el registro de trabajo en una tabla de almacenamiento denominada ycsbbenchmarkingmetadata mediante az storage entity query.

   az storage entity query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --table-name ycsbbenchmarkingmetadata
   

2. Observe los resultados de esta consulta. Los resultados deben devolver un solo trabajo con las propiedades JobStartTime, JobStatus y JobFinishTime. Inicialmente, el estado del trabajo es Started e incluye una marca de tiempo en la propiedad JobStartTime, pero no en la propiedad JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Started",
         "NoOfClientsCompleted": "0",
         "NoOfClientsStarted": {
           "edm_type": "Edm.Int64",
           "value": 1
         },
         "PartitionKey": "ycsb_sql",
         ...
       }
     ],
     ...
   }
   

3. Si es necesario, ejecute az storage entity query varias veces hasta que el trabajo tenga un estado de Finished e incluya una marca de tiempo en la propiedad JobFinishTime.

   {
     "items": [
       {
         "JobFinishTime": "2023-02-02T14:21:12Z",
         "JobStartTime": "2023-02-02T13:59:42Z",
         "JobStatus": "Finished",
         ...
       }
     ],
     ...
   }
   

   Sugerencia

   El trabajo puede tardar aproximadamente entre 20 y 30 minutos en completarse.

4. Busque el nombre del contenedor de almacenamiento modificado más recientemente con un prefijo de ycsbbenchmarking-* mediante az storage container list y una consulta JMESPath.

   az storage container list \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
       --output tsv
   

5. Almacene la cadena de contenedor en una variable denominada storageConnectionString.

   storageContainerName=$( \
       az storage container list \
           --account-name $storageAccountName \
           --connection-string $storageConnectionString \
           --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
           --output tsv \
   )
   

6. Use [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) para consultar los resultados del trabajo en un blob de almacenamiento almacenado en el contenedor ubicado anteriormente.

   az storage blob query \
       --account-name $storageAccountName \
       --connection-string $storageConnectionString \
       --container-name $storageContainerName \
       --name aggregation.csv \
       --query-expression "SELECT * FROM BlobStorage"
   

7. Observe los resultados de esta consulta. Ahora debería tener un conjunto de datos CSV con resultados agregados de todos los clientes de pruebas comparativas.

   Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
   READ,180000,299,706,448255,1079,1159,2867
   

Recetas

El marco de pruebas comparativas para bases de datos de Azure incluye recetas para encapsular las definiciones de carga de trabajo que se pasan a la herramienta de pruebas comparativas subyacente para una experiencia de "1 clic". Las definiciones de carga de trabajo se diseñaron en función de los procedimientos recomendados publicados por el equipo de Azure Cosmos DB y el equipo de la herramienta de pruebas comparativas. Las recetas se han probado y validado para obtener resultados coherentes.

Puede esperar ver las siguientes latencias para todas las recetas de lectura y escritura en el repositorio de GitHub.

• Latencia de lectura

  

• Latencia de escritura

  

Problemas comunes

En esta sección se incluyen los errores comunes que pueden producirse al ejecutar la herramienta de pruebas comparativas. Los registros de errores de la herramienta suelen estar disponibles en un contenedor dentro de la cuenta de Azure Storage.

• Si los registros no están disponibles en la cuenta de almacenamiento, este problema suele deberse a una cadena de conexión de almacenamiento incorrecta o que falta. En este caso, este error aparece en el archivo agent.out dentro de la carpeta /home/benchmarking de la máquina virtual del cliente.

  Error while accessing storage account, exiting from this machine in agent.out on the VM
  

• Este error aparece en el archivo agent.out tanto en la máquina virtual del cliente como en la cuenta de almacenamiento si el URI del punto de conexión de Azure Cosmos DB es incorrecto o inaccesible.

  Caused by: java.net.UnknownHostException: rtcosmosdbsss.documents.azure.com: Name or service not known 
  

• Este error aparece en el archivo agent.out tanto en la máquina virtual del cliente como en la cuenta de almacenamiento si la clave de Azure Cosmos DB es incorrecta.

  The input authorization token can't serve the request. The wrong key is being used….
  

Pasos siguientes

• Obtenga más información sobre la herramienta de pruebas comparativas con la Guía de introducción.