OpenPBS

Conecte o PBS com o CycleCloud

CycleCloud gere clusters OpenPBS através de um agente instalado chamado azpbs. Este agente conecta-se ao CycleCloud para ler configurações de cluster e VM e também se integra com o OpenPBS para processar eficazmente a informação do trabalho e do anfitrião. Todas as azpbs configurações são encontradas no autoscale.json ficheiro, normalmente /opt/cycle/pbspro/autoscale.json.

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

Ficheiros Importantes

O azpbs agente analisa a configuração do PBS cada vez que é chamado: empregos, filas, recursos. A informação é fornecida no stderr e no stdout do comando, bem como num ficheiro de registo, ambos a níveis configuráveis. Todos os comandos de gestão pbs (qcmd) com argumentos também são registados para arquivar.

Todos estes ficheiros podem ser encontrados no diretório /opt/cycle/pbspro/ onde o agente está instalado.

Ficheiro	Localização	Description
Config de autoescala	autoscale.json	Configuração para autoescalação, mapa de recursos, informações de acesso CycleCloud
Registo de escala automática	autoescala.log	Registo de fios principal do agente, incluindo gestão do anfitrião CycleCloud
Registo de Procura	procura.log	Registo detalhado para correspondência de recursos
registo de vestígios qcmd	qcmd.log	Registar as chamadas do agente qcmd
Config de registo	logging.conf	Configurações para registar máscaras e localizações de ficheiros

Definição de Recursos OpenPBs

Este projeto permite uma associação geral de recursos OpenPBS com recursos Azure VM através do projeto cyclecloud-pbspro (azpbs). Esta relação de recursos definida em autoscale.json.

Os recursos padrão definidos com o modelo de cluster com que enviamos são

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

O recurso OpenPBS nomeado mem é equiparado a um atributo de nó denominado node.memory, que é a memória total de qualquer máquina virtual. Esta configuração permite azpbs processar um pedido de recurso, como -l mem=4gb por exemplo, comparando o valor dos requisitos de recursos de trabalho com os recursos de nó.

Note que o disco está atualmente codificado para size::20g. Aqui está um exemplo de manuseamento do tamanho do disco específico VM Size

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

Autoescala e conjuntos de escalas

O CycleCloud trata os trabalhos de abrangeção e série de forma diferente nos clusters OpenPBS. Os trabalhos de abrangamento vão aterrar em nós que fazem parte do mesmo grupo de colocação. O grupo de colocação tem um significado de plataforma particular (VirtualMachineScaleSet com SinglePlacementGroup=true) e CC gerirá um grupo de colocação nomeado para cada conjunto de nós. Utilize o recurso group_id PBS para este nome de grupo de colocação.

A hpc fila anexa o equivalente -l place=scatter:group=group_id a usar predefinições de fila nativa.

Instalação do Agente OpenPBS CycleCloud azpbs

O cluster OpenPBS CycleCloud gerirá a instalação e configuração do agente no nó do servidor. A preparação inclui a definição de recursos DE PBS, filas e ganchos. Uma instalação escrita também pode ser feita fora do CycleCloud.

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate

CycleCloud suporta um conjunto padrão de atributos de autostop em todos os agendadores:

Atributo	Descrição
cyclecloud.cluster.autoscale.stop_enabled	A paragem automática está ativada neste nó? [verdadeiro/falso]
cyclecloud.cluster.autoscale.idle_time_after_jobs	A quantidade de tempo (em segundos) para que um nó se sente inativo após completar os trabalhos antes de ser reduzido.
cyclecloud.cluster.autoscale.idle_time_before_jobs	A quantidade de tempo (em segundos) para que um nó se sente inativo antes de completar os trabalhos antes de ser reduzido.

Nota

O CycleCloud não suporta a configuração de rebentamento com PBS Aberto.

Nota

Apesar de o Windows ser uma plataforma Open PBS oficialmente suportada, o CycleCloud não suporta o funcionamento de PBS aberto no Windows neste momento.