Создание кластера Apache Hadoop с помощью учетных записей хранения с безопасной передачей в Azure HDInsightCreate Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight

Функция Secure transfer required (Необходима безопасная передача) усиливает безопасность учетной записи хранения Azure путем принудительной передачи всех запросов к вашей учетной записи через безопасное подключение.The Secure transfer required feature enhances the security of your Azure Storage account by enforcing all requests to your account through a secure connection. Эта функция и схема wasbs поддерживаются только кластером HDInsight версии 3.6 или более новым.This feature and the wasbs scheme are only supported by HDInsight cluster version 3.6 or newer.

Включение безопасного обмена хранилищами после создания кластера может привести к ошибкам с помощью учетной записи хранения и не рекомендуется. Лучше создать новый кластер с включенным свойством.Enabling secure storage transfer after creating a cluster can result in errors using your storage account and is not recommended. It is better to create a new cluster with the property enabled.

Технические условияPrerequisites

Прежде чем приступать к этой статье, необходимо:Before you begin this article, you must have:

Создание кластераCreate cluster

Предупреждение

Счета за кластеры HDInsight выставляются пропорционально в минутах, независимо от их использования.Billing for HDInsight clusters is prorated per minute, whether you use them or not. Обязательно удалите кластер, когда завершите его использование.Be sure to delete your cluster after you finish using it. Дополнительные сведения см. в статье Удаление кластера HDInsight с помощью браузера, PowerShell или классического интерфейса Azure CLI.See how to delete an HDInsight cluster.

В этом разделе вы создадите в HDInsight кластер Hadoop, используя шаблон Azure Resource Manager.In this section, you create a Hadoop cluster in HDInsight using an Azure Resource Manager template. Шаблон можно найти на сайте GitHub.The template is located in GitHub. Для работы с этой статьей диспетчер ресурсов шаблона не требуется.Resource Manager template experience isn't required for following this article. Сведения о других способах создания кластера и о свойствах, используемых в этой статье, см. в разделе Создание кластеров HDInsight.For other cluster creation methods and understanding the properties used in this article, see Create HDInsight clusters.

  1. Щелкните следующее изображение, чтобы войти в Azure и открыть шаблон Resource Manager на портале Azure.Click the following image to sign in to Azure and open the Resource Manager template in the Azure portal.

    Deploy to Azure button for new cluster

  2. Следуйте инструкциям, чтобы создать кластер со следующими характеристиками:Follow the instructions to create the cluster with the following specifications:

    • Укажите HDInsight версии 3.6.Specify HDInsight version 3.6. Требуется версия 3.6 или более новая.Version 3.6 or newer is required.

    • Укажите учетную запись хранения с включенной безопасной передачей.Specify a secure transfer enabled storage account.

    • Введите короткое имя для учетной записи хранения.Use short name for the storage account.

    • Учетную запись хранения и контейнер больших двоичных объектов необходимо создать заранее.Both the storage account and the blob container must be created beforehand.

      Инструкции см. в этой статье.For the instructions, see Create cluster.

При использовании действия скрипта для предоставления собственных файлов конфигурации необходимо использовать wasbs в следующих параметрах:If you use script action to provide your own configuration files, you must use wasbs in the following settings:

  • fs.defaultFS (core-site)fs.defaultFS (core-site)
  • spark.eventLog.dirspark.eventLog.dir
  • spark.history.fs.logDirectoryspark.history.fs.logDirectory

Добавление дополнительных учетных записей храненияAdd additional storage accounts

Добавить дополнительные учетные записи хранения с включенной безопасной передачей можно несколькими способами:There are several options to add additional secure transfer enabled storage accounts:

  • Измените шаблон Azure Resource Manager в предыдущем разделе.Modify the Azure Resource Manager template in the last section.
  • Создайте кластер с помощью портала Azure и укажите связанную учетную запись хранения.Create a cluster using the Azure portal and specify linked storage account.
  • Используйте действия скриптов для добавления дополнительных учетных записей хранения с включенной безопасной передачей в имеющийся кластер HDInsight.Use script action to add additional secure transfer enabled storage accounts to an existing HDInsight cluster. Дополнительные сведения см. в статье Добавление дополнительных учетных записей хранения в HDInsight.For more information, see Add additional storage accounts to HDInsight.

Дальнейшие действияNext steps

В этой статье вы узнали, как создать кластер HDInsight и включить безопасную пересылку учетных записей хранения.In this article, you've learned how to create an HDInsight cluster, and enable secure transfer to the storage accounts.

Дополнительные сведения об анализе данных с помощью HDInsight см. в следующих статьях:To learn more about analyzing data with HDInsight, see the following articles:

Чтобы узнать, как HDInsight хранит данные или получает их, ознакомьтесь со следующими статьями:To learn more about how HDInsight stores data or how to get data into HDInsight, see the following articles:

Дополнительные сведения о создании кластера HDInsight и управлении этим кластером см. в следующих статьях:To learn more about creating or managing an HDInsight cluster, see the following articles: