Transformar dados usando a atividade do Hive do Hadoop no Azure Data FactoryTransform data using Hadoop Hive activity in Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

A atividade do Hive no HDInsight em um pipeline do Data Factory executa consultas do Hive em um cluster do HDInsight de sua propriedade ou sob demanda.The HDInsight Hive activity in a Data Factory pipeline executes Hive queries on your own or on-demand HDInsight cluster. Este artigo se baseia no artigo sobre atividades de transformação de dados que apresenta uma visão geral da transformação de dados e as atividades de transformação permitidas.This article builds on the data transformation activities article, which presents a general overview of data transformation and the supported transformation activities.

Se você é novo no Azure Data Factory, leia a Introduction to Azure Data Factory (Introdução ao Azure Data Factory) e siga o Tutorial: transformar dados antes de ler este artigo.If you are new to Azure Data Factory, read through Introduction to Azure Data Factory and do the Tutorial: transform data before reading this article.

SintaxeSyntax

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Detalhes da sintaxeSyntax details

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
namename Nome da atividadeName of the activity SimYes
descriçãodescription Texto que descreve qual a utilidade da atividadeText describing what the activity is used for NãoNo
typetype Para a atividade do Hive, o tipo de atividade é HDinsightHiveFor Hive Activity, the activity type is HDinsightHive SimYes
linkedServiceNamelinkedServiceName Referência ao cluster do HDInsight registrado como um serviço vinculado no Data Factory.Reference to the HDInsight cluster registered as a linked service in Data Factory. Para saber mais sobre esse serviço vinculado, consulte o artigo Compute linked services (Serviços de computação vinculados).To learn about this linked service, see Compute linked services article. SimYes
scriptLinkedServicescriptLinkedService Referência a um serviço vinculado do Armazenamento do Azure usado para armazenar o script do Hive a ser executado.Reference to an Azure Storage Linked Service used to store the Hive script to be executed. Somente os serviços vinculados do Armazenamento de Blobs do Azure e do ADLS Gen2 são compatíveis aqui.Only Azure Blob Storage and ADLS Gen2 linked services are supported here. Se você não especificar esse serviço vinculado, será usado o serviço vinculado do Armazenamento do Azure definido no serviço vinculado do HDInsight.If you don't specify this Linked Service, the Azure Storage Linked Service defined in the HDInsight Linked Service is used. NãoNo
scriptPathscriptPath Forneça o caminho para o arquivo de script armazenado no Armazenamento do Azure referenciado por scriptLinkedService.Provide the path to the script file stored in the Azure Storage referred by scriptLinkedService. O nome do arquivo diferencia maiúsculas de minúsculas.The file name is case-sensitive. SimYes
getDebugInfogetDebugInfo Especifica quando os arquivos de log são copiados para o Armazenamento do Azure usado pelo cluster do HDInsight (ou) especificado por scriptLinkedService.Specifies when the log files are copied to the Azure Storage used by HDInsight cluster (or) specified by scriptLinkedService. Valores permitidos: Nenhum, Sempre ou Falha.Allowed values: None, Always, or Failure. Valor padrão: Nenhum.Default value: None. NãoNo
argumentosarguments Especifica uma matriz de argumentos para um trabalho do Hadoop.Specifies an array of arguments for a Hadoop job. Os argumentos são passados como argumentos de linha de comando para cada tarefa.The arguments are passed as command-line arguments to each task. NãoNo
definesdefines Especifique parâmetros como pares chave-valor para referências no script do Hive.Specify parameters as key/value pairs for referencing within the Hive script. NãoNo
queryTimeoutqueryTimeout Consultar o valor do tempo limite (em minutos).Query timeout value (in minutes). Aplicável quando o cluster do HDInsight está habilitado para o Enterprise Security Package.Applicable when the HDInsight cluster is with Enterprise Security Package enabled. NãoNo

Próximas etapasNext steps

Consulte os seguintes artigos que explicam como transformar dados de outras maneiras:See the following articles that explain how to transform data in other ways: