OpenPBS

CycleCloud を使用して PBS を接続する

CycleCloud は、インストール可能なエージェントを介して OpenPBS クラスターを管理します azpbs。 このエージェントは、クラスターと VM の構成を読み取るために CycleCloud に接続し、OpenPBS と統合してジョブとホスト情報を効果的に処理します。 通常は、/opt/cycle/pbspro/autoscale.jsonすべてのazpbs構成がautoscale.jsonファイル内にあります。

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

重要なファイル

エージェントは azpbs 、呼び出されるたびに PBS 構成 (ジョブ、キュー、リソース) を解析します。 情報は、コマンドの stderr と stdout だけでなく、ログ ファイルにも提供されます。どちらも構成可能なレベルです。 引数を持つすべての PBS 管理コマンド (qcmd) もファイルに記録されます。

これらのファイルはすべて、エージェントがインストールされている /opt/cycle/pbspro/ ディレクトリにあります。

ファイル	場所	説明
自動スケーリングの構成	autoscale.json	自動スケール、リソース マップ、CycleCloud アクセス情報の構成
自動スケール ログ	autoscale.log	CycleCloud ホスト管理を含むエージェント のメイン スレッド ログ
需要ログ	demand.log	リソースの照合に関する詳細なログ
qcmd トレース ログ	qcmd.log	エージェント qcmd 呼び出しのログ記録
ログの構成	logging.conf	マスクとファイルの場所のログ記録の構成

OpenPBS リソースの定義

このプロジェクトでは、Cyclecloud-pbspro (azpbs) プロジェクトを介して、OpenPBS リソースと Azure VM リソースの一般的な関連付けを行うことができます。 で定義されている autoscale.jsonこのリソースリレーションシップ。

付属のクラスター テンプレートで定義されている既定のリソースは、次のとおりです。

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

名前付きの mem OpenPBS リソースは、仮想マシンの合計メモリである、という名前 node.memoryのノード属性に相当します。 この構成では、ジョブ リソース要件の値をノード リソースと比較するなどして、リソース要求-l mem=4gbを処理できますazpbs。

ディスクは現在ハードコーディングされていることに注意してください size::20g。 VM サイズ固有のディスク サイズを処理する例を次に示します。

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

自動スケールとスケール セット

CycleCloud では、OpenPBS クラスターではスパン ジョブとシリアル ジョブの処理方法が異なります。 スパン ジョブは、同じ配置グループの一部であるノードに配置されます。 配置グループには特定のプラットフォームの意味があります (VirtualMachineScaleSet with SinglePlacementGroup=true) と CC は、各スパン ノード セットの名前付き配置グループを管理します。 この配置グループ名には PBS リソース group_id を使用します。

キューは hpc 、ネイティブ キューの既定値を使用して同等の -l place=scatter:group=group_id 値を追加します。

CycleCloud OpenPBS エージェントのインストール azpbs

OpenPBS CycleCloud クラスターは、サーバー ノード上のエージェントのインストールと構成を管理します。 準備には、PBS リソース、キュー、フックの設定が含まれます。 スクリプト化されたインストールは、CycleCloud の外部でも実行できます。

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate

CycleCloud では、スケジューラ間で自動停止属性の標準セットがサポートされています。

属性	[説明]
cyclecloud.cluster.autoscale.stop_enabled	このノードで自動停止は有効になっていますか? [true/false]
cyclecloud.cluster.autoscale.idle_time_after_jobs	ノードがスケール ダウンされるまでのジョブの完了後にアイドル状態になるまでの時間 (秒単位)。
cyclecloud.cluster.autoscale.idle_time_before_jobs	ノードがスケール ダウンされるまでのジョブを完了するまでにアイドル状態になるまでの時間 (秒単位)。

注意

CycleCloud では、Open PBS でのバースト構成はサポートされていません。

注意

Windows は正式にサポートされている Open PBS プラットフォームですが、CycleCloud では現時点では Windows での Open PBS の実行はサポートされていません。