Azure Automation で Python 3 パッケージを管理する

この記事では、Azure サンドボックス環境と Hybrid Runbook Worker で実行されている Azure Automation で Python 3 パッケージをインポート、管理、使用する方法について説明します。 ジョブの実行を成功させるために Hybrid Runbook workers ワーカーに Python パッケージは、ダウンロードする必要があります。 Runbook を簡略化するために、Python パッケージを使用して必要なモジュールをインポートすることができます。

Python 2 パッケージの管理については、「Azure Automation で Python 2 パッケージを管理する」をご覧ください。

Python の既定のパッケージ

Automation サービスで Python 3.8 Runbook をサポートするために、一部の Python パッケージが既定でインストールされ、これらのパッケージの一覧がここに表示されます。 お使いの Automation アカウントに Python パッケージをインポートすることで、その既定のバージョンをオーバーライドできます。

お使いの Automation アカウントにインポートされたバージョンが優先されます。 1 つのパッケージをインポートするには、「パッケージのインポート」を参照してください。 複数のパッケージを含むパッケージをインポートするには、「依存関係を含むパッケージのインポート」を参照してください。

Note

Python 3.10 (プレビュー) 用の既定のパッケージはインストールされていません。

ソース ファイルとしてのパッケージ

Azure Automation では、Python コードのみを含み、他の言語拡張や他の言語のコードを含まない Python パッケージのみがサポートされます。 ただし、Azure Sandbox 環境には C/C++ バイナリに必要なコンパイラがない場合があるため、代わりにホイール ファイルを使用することが推奨されます。

Note

現在、Python 3.10 (プレビュー) は、ホイール ファイルのみをサポートしています。

Python Package Index (PyPI) は、Python プログラミング言語用のソフトウェアのリポジトリです。 PyPI から Automation アカウントにインポートするために Python 3 パッケージを選択する場合は、次のファイル名の部分に注意してください。

Python のバージョンを選択する:

Python 3.8(GA)

ファイル名の部分	説明
cp38	Automation では、クラウド ジョブ用に、Python 3.8 がサポートされています。
amd64	Azure サンドボックス プロセスは Windows 64 ビット アーキテクチャです。

次に例を示します。

• pandas をインポートするには - pandas-1.2.3-cp38-win_amd64.whl のような名前のホイール ファイルを選択します。

PyPI で使用できる一部の Python パッケージでは、ホイール ファイルが提供されていないものもあります。 この場合は、ソース (.zip または .tar.gz ファイル) をダウンロードし、pip を使用してホイール ファイルを生成します。

Python 3.8.x とホイールパッケージがインストールされた 64 ビット Windows コンピューターを使用して、次の手順を実行します。

1. ソースファイル pandas-1.2.4.tar.gz をダウンロードします。
2. pip を実行して、pip wheel --no-deps pandas-1.2.4.tar.gz コマンドでホイール ファイルを取得します。

Python 3.10 (プレビュー)

ファイル名の部分	説明
cp310	Automation では、クラウド ジョブに対して Python 3.10 (プレビュー) がサポートされています。
manylinux_x86_64	Azure サンドボックス プロセスは、Python 3.10 (プレビュー) ランブック用の Linux ベースの 64 ビット アーキテクチャです。

次に例を示します。

• pandas をインポートするには - pandas-1.5.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl のような名前のホイール ファイルを選択します

PyPI で使用できる一部の Python パッケージでは、ホイール ファイルが提供されていないものもあります。 この場合は、ソース (.zip または .tar.gz ファイル) をダウンロードし、pip を使用してホイール ファイルを生成します。

Python 3.10. x とホイール パッケージがインストールされている 64 ビット Linux コンピューターを使用して、次の手順を実行します。

1. ソースファイル pandas-1.2.4.tar.gz. をダウンロードします
2. pip を実行して、pip wheel --no-deps pandas-1.2.4.tar.gz コマンドでホイール ファイルを取得します。

パッケージのインポート

1. Automation アカウントの [共有リソース] で [Python パッケージ] を選択します。 次に [+ Python パッケージの追加] を選択します。

   

2. [Python パッケージの追加] ページで、アップロードするローカル パッケージを選択します。 パッケージには、Python 3.8 用の .whl ファイルまたは .tar.gz ファイル、Python 3.10 (プレビュー) 用の .whl ファイルを指定できます。

3. 名前を入力し、Python 3.8 または Python 3.10 (プレビュー) として [ランタイム バージョン] を選択します。

   Note

   現在、Python 3.10 (プレビュー) のランタイム バージョンは、オーストラリア中部 2、韓国南部、スウェーデン南部、JIO インド中部、ブラジル南東部、インド中部、インド西部、アラブ首長国連邦中部、Gov クラウドを除くすべてのパブリック リージョンで、クラウドとハイブリッドの両方のジョブに対してサポートされています。

4. [インポート] を選択します。

   

パッケージがインポートされた後、そのパッケージはお使いの Automation アカウントの [Python パッケージ] ページに一覧表示されます。 パッケージを削除するには、パッケージを選択し、 [削除] を選択します。

依存関係を含むパッケージのインポート

Python 3.8 のパッケージとその依存関係をインポートするには、次の Python スクリプトを Python 3.8 Runbook にインポートします。 マネージド ID が Automation アカウントで有効になっていることを確認します。また、パッケージを正常にインポートするために、Automation 共同作成者アクセス権があることを確認します。

システム割り当てマネージド ID

https://github.com/azureautomation/runbooks/blob/master/Utility/Python/import_py3package_from_pypi.py

ユーザー割り当てマネージド ID

import requests
import sys
import pip
import os
import re
import shutil
import json
import time
import getopt

#region Constants
PYPI_ENDPOINT = "https://pypi.org/simple"
FILENAME_PATTERN = "[\\w]+"
#endregion

def get_automation_usi_token():
    """ Returns a token that can be used to authenticate against Azure resources """
    import json

    # printing environment variables 
    resource = "?resource=https://management.azure.com/" 
    client_id = "&client_id="+client_id_usi 
    endPoint = os.getenv('IDENTITY_ENDPOINT')+ resource +client_id 
    identityHeader = os.getenv('IDENTITY_HEADER') 
    payload={}
    headers = {
      'X-IDENTITY-HEADER': identityHeader,
      'Metadata': 'True' 
    }
    response = requests.request("GET", endPoint, headers=headers, data=payload) 

    # Return the token
    return json.loads(response.text)['access_token']

def get_packagename_from_filename(packagefilename):
    match = re.match(FILENAME_PATTERN, packagefilename)
    return match.group(0)

def resolve_download_url(packagename, packagefilename):
    response = requests.get("%s/%s" % (PYPI_ENDPOINT, packagename))
    urls = re.findall(r'href=[\'"]?([^\'" >]+)', str(response.content))   
    for url in urls:
        if packagefilename in url:
            print ("Detected download uri %s for %s" % (url, packagename))
            return(url)

def send_webservice_import_module_request(packagename, download_uri_for_file):
    request_url = "https://management.azure.com/subscriptions/%s/resourceGroups/%s/providers/Microsoft.Automation/automationAccounts/%s/python3Packages/%s?api-version=2018-06-30" \
                  % (subscription_id, resource_group, automation_account, packagename)

    requestbody = { 'properties': { 'description': 'uploaded via automation', 'contentLink': {'uri': "%s" % download_uri_for_file} } }
    headers = {'Content-Type' : 'application/json', 'Authorization' : "Bearer %s" % token}
    r = requests.put(request_url, data=json.dumps(requestbody), headers=headers)
    print ("Request status for package %s was %s" % (packagename, str(r.status_code)))
    if str(r.status_code) not in ["200", "201"]:
        raise Exception("Error importing package {0} into Automation account. Error code is {1}".format(packagename, str(r.status_code)))

def make_temp_dir():
    destdir = os.path._getfullpathname("tempDownloadDir")
    if os.path.exists(destdir):
        shutil.rmtree(destdir)
    os.makedirs(destdir, 0o755)
    return destdir

def import_package_with_dependencies (packagename):
    # download package with all depeendencies
    download_dir = make_temp_dir()
    pip.main(['download', '-d', download_dir, packagename])
    for file in os.listdir(download_dir):
        pkgname = get_packagename_from_filename(file)
        download_uri_for_file = resolve_download_url(pkgname, file)
        send_webservice_import_module_request(pkgname, download_uri_for_file)
        # Sleep a few seconds so we don't send too many import requests https://docs.microsoft.com/en-us/azure/azure-subscription-service-limits#automation-limits
        time.sleep(10)

if __name__ == '__main__':
    if len(sys.argv) < 11:
        raise Exception("Requires Subscription id -s, Automation resource group name -g, account name -a, module name -g and user-assigned managed identity client id -c as arguments. \
                        Example: -s xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxx -g contosogroup -a contosoaccount -m pytz -c clientid")

    # Process any arguments sent in
    subscription_id = None
    resource_group = None
    automation_account = None
    module_name = None
    client_id_usi = None

    opts, args = getopt.getopt(sys.argv[1:], "s:g:a:m:c")
    for o, i in opts:
        if o == '-s':  
            subscription_id = i
        elif o == '-g':  
            resource_group = i
        elif o == '-a': 
            automation_account = i
        elif o == '-m': 
            module_name = i
        elif o == '-c': 
            client_id_usi = i

    # Set Run as token for this automation accounts service principal to be used to import the package into Automation account
    token = get_automation_usi_token()

    # Import package with dependencies from pypi.org
    import_package_with_dependencies(module_name)
    print ("\nCheck the python 3 packages page for import status...")

スクリプトを Runbook にインポートする

Runbook のインポートの詳細については、「Azure portal から Runbook をインポートする」を参照してください。 GitHub から、インポートを実行する前にポータルからアクセスできるストレージにファイルをコピーします。

Note

現在、Azure ポータルからの Runbook のインポートは、Python 3.10 (プレビュー) ではサポートされていません。

[Runbook のインポート] ページでは、スクリプトの名前に合わせて Runbook 名が既定で設定されます。 フィールドにアクセスできる場合は、名前を変更できます。 [Runbook の種類] は、既定で [Python 2.7] になっている場合があります。 その場合は、必ず [Python 3.8] に変更してください。

Runbook を実行してパッケージと依存関係をインポートする

Runbook を作成して発行したら、実行してパッケージをインポートします。 Runbook の実行の詳細については、「Azure Automation で Runbook を開始する」を参照してください。

スクリプト (import_py3package_from_pypi.py) には、次のパラメーターが必要です。

パラメーター	説明
subscription_id	Automation アカウントのサブスクリプション ID
resource_group	Automation アカウントが定義されているリソース グループの名前
automation_account	Automation アカウント名
module_name	pypi.org からインポートするモジュールの名前
module_version	モジュールのバージョン

パラメーター値は、単一の文字列として次の形式で指定する必要があります。

-s <subscription_id> -g <resource_group> -a<automation_account> -m <module_name> -v <module_version>

Runbook でのパラメーターの使用の詳細については、「Runbook のパラメーターを使用する」を参照してください。

Runbook でパッケージを使用する

パッケージがインポートされたら、それを Runbook で使用できます。 Azure サブスクリプションのすべてのリソース グループを一覧表示するには、次のコードを追加します。

#!/usr/bin/env python3 
import os 
import requests  
# printing environment variables 
endPoint = os.getenv('IDENTITY_ENDPOINT')+"?resource=https://management.azure.com/" 
identityHeader = os.getenv('IDENTITY_HEADER') 
payload={} 
headers = { 
  'X-IDENTITY-HEADER': identityHeader,
  'Metadata': 'True' 
} 
response = requests.request("GET", endPoint, headers=headers, data=payload) 
print(response.text)

Note

Python automationassets パッケージは pypi.org では使用できないため、Windows ハイブリッド runbook worker にインポートすることはできません。

サンドボックスで使用可能なパッケージを特定する

次のコードを使用して、既定のインストール済みモジュールのリストを表示します。

#!/usr/bin/env python3

import pkg_resources
installed_packages = pkg_resources.working_set
installed_packages_list = sorted(["%s==%s" % (i.key, i.version)
   for i in installed_packages])

for package in installed_packages_list:
    print(package)

Python 3.8 PowerShell コマンドレット

新しい Python 3.8 パッケージを追加する

New-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 

Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:37:13 PM +05:30 
ProvisioningState     : Creating 

すべての Python 3.8 パッケージを一覧表示する

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja 

Response : 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : cryptography 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 11:52:28 AM +05:30 
LastModifiedTime      : 9/26/2022 12:11:00 PM +05:30 
ProvisioningState     : Failed 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 
SizeInBytes           : 0 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:39:04 PM +05:30 
ProvisioningState     : ContentValidated 
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

特定のパッケージに関する詳細の取得

Get-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 


Response  
ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : sockets 
IsGlobal              : False 
Version               : 1.0.0 
SizeInBytes           : 4495 
ActivityCount         : 0 
CreationTime          : 9/20/2022 12:46:28 PM +05:30 
LastModifiedTime      : 9/22/2022 5:03:42 PM +05:30 
ProvisioningState     : Succeeded 

Python 3.8 パッケージを削除する

Remove-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name sockets 

Python 3.8 パッケージを更新する

Set-AzAutomationPython3Package -AutomationAccountName tarademo  -ResourceGroupName mahja -Name requires.io -ContentLinkUri https://files.pythonhosted.org/packages/7f/e2/85dfb9f7364cbd7a9213caea0e91fc948da3c912a2b222a3e43bc9cc6432/requires.io-0.2.6-py2.py3-none-any.whl 


ResourceGroupName     : mahja 
AutomationAccountName : tarademo 
Name                  : requires.io 
IsGlobal              : False 
Version               : 0.2.6 
SizeInBytes           : 10109 
ActivityCount         : 0 
CreationTime          : 9/26/2022 1:37:13 PM +05:30 
LastModifiedTime      : 9/26/2022 1:43:12 PM +05:30 
ProvisioningState     : Creating 

次のステップ

Python Runbook を準備するには、「Python Runbook を作成する」を参照してください。