Küme yapılandırmasını yönetme

Makale
04/16/2024

Önemli

Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

AKS üzerinde HDInsight, kümenizin performansını belirli ayarlarla geliştirmek için yapılandırma özelliklerini ayarlamanızı sağlar. Örneğin, kullanım veya bellek ayarları. Aşağıdaki eylemleri gerçekleştirebilirsiniz:

Mevcut yapılandırmaları güncelleştirin veya yeni yapılandırmalar ekleyin.
REST API kullanarak yapılandırmaları dışarı aktarın.

Yapılandırmaları özelleştirme

Aşağıdaki seçenekleri kullanarak yapılandırmaları özelleştirebilirsiniz:

Azure portalı kullanarak
ARM şablonunu kullanma

Azure portalı kullanarak

Azure portalda oturum açın.
Azure portalı arama çubuğuna "AKS kümesinde HDInsight" yazın ve açılan listeden "AKS kümelerinde Azure HDInsight" öğesini seçin.
Liste sayfasından kümenizin adını seçin.
Soldaki menüde "Yapılandırma yönetimi" dikey penceresine gidin.
Küme türüne bağlı olarak yapılandırma dosyaları listelenir. Daha fazla bilgi için bkz . Trino, Flink ve Spark yapılandırmaları.
Değiştirmek istediğiniz yapılandırmalar için yeni değer ekleyin veya mevcut anahtar-değer çiftini güncelleştirin.
Tamam'ı seçin ve kaydet'e tıklayın.

Not

Bazı yapılandırma değişikliklerinin değişiklikleri yansıtması için hizmetin yeniden başlatılması gerekebilir.

ARM şablonunu kullanma

Önkoşullar

Kümeniz için ARM şablonu .
ARM şablonu yazma ve dağıtma hakkında bilgi.

ARM şablonunda serviceConfigsProfiles dosyasını düzenleyebilir ve üzerine yazmak istediğiniz değerle OSS yapılandırma dosyası adını belirtebilirsiniz.

OSS yapılandırma dosyası JSON/XML/YAML biçimindeyse, aracılığıyla OSS yapılandırma dosyası adını fileNamesağlayabilirsiniz. "Değerler" içinde üzerine yazmak istediğiniz anahtar değer çiftlerini belirtin.

Her iş yükü için bazı örnekler aşağıdadır:

Flink yapılandırma örneği:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "flink-operator",
                    "configs": [
                        {
                            "component": "flink-configs",
                            "files": [
                                {
                                    "fileName": "flink-conf.yaml",
                                    "values": {
                                        "taskmanager.memory.process.size": "4096mb",
                                        "classloader.check-leaked-classloader": "false",
                                        "jobmanager.memory.process.size": "4096mb",
                                        "classloader.parent-first-patterns.additional": "org.apache.parquet"
                                    }
                                }
                            ]
                        }
                    ]
                }
            ]

Spark yapılandırma örneği:

  "serviceConfigsProfiles": [
                {
                    "serviceName": "spark-service",
                    "configs": [
                        {
                            "component": "livy-config",
                            "files": [
                                {
                                    "fileName": "livy-client.conf",
                                    "values": {
                                        "livy.client.http.connection.timeout": "11s"
                                    }
                                }
                            ]
                        },
                        {
                            "component": "spark-config",
                            "files": [
                                {
                                    "fileName": "spark-env.sh",
                                    "content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
                                }
                            ]
                        }
                    ]
                }
          ]

Trino yapılandırma örneği:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "trino",
                    "configs": [
                        {
                            "component": "coordinator",
                            "files": [
                                {
                                    "fileName": "config.properties",
                                    "values": {
                                        "query.cache.enabled": "true",
                                        "query.cache.ttl": "1h",
                                        "query.enable-multi-statement-set-session": "true",
                                        "query.max-memory": "301GB"
                                    }
                                },
                                {
                                    "fileName": "log.properties",
                                    "values": {
                                        "io.trino": "INFO"
                                    }
                                }
                            ]
                        }
          ]

Trino yapılandırma seçenekleri hakkında daha fazla bilgi için örnek ARM şablonlarına bakın.

arm-trino-config-sample.json

REST API kullanarak yapılandırmaları dışarı aktarma

Varsayılan ve güncelleştirilmiş değerleri denetlemek için küme yapılandırmalarını da dışarı aktarabilirsiniz. Şu anda yapılandırmaları yalnızca REST API aracılığıyla dışarı aktarabilirsiniz.

Küme yapılandırmalarını alma:

GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}

REST API çağrısı gönderme hakkında bilginiz yoksa aşağıdaki adımlar size yardımcı olabilir.

Azure Cloud Shell'i başlatmak için Azure portalının sağ üst kısmındaki aşağıdaki düğmeye tıklayın.

Cloud Shell'in sol üst kısımda PowerShell olarak ayarlandığından emin olun. Belirteci almak ve HTTP isteği üst bilgilerini ayarlamak için aşağıdaki komutu çalıştırın.

$azContext = Get-AzContext
$azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile

$profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile)
$token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId)
$authHeader = @{
    'Content-Type'='application/json'
    'Authorization'='Bearer ' + $token.AccessToken
}

$restUri değişkenini Get request URL'si olarak ayarlayın.
```
$restUri = 
'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'
```
Örneğin: $restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-preview

Not

Azure portalında kümenizin "JSON Görünümü"nden kaynak kimliğini ve güncel api sürümünü alabilirsiniz.
Aşağıdaki komutu yürüterek GET isteğini gönderin.

Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10

Aracılığıyla paylaş