Copiar dados de e para Azure Databricks o Delta Lake usando Azure Data FactoryCopy data to and from Azure Databricks Delta Lake by using Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia no Azure Data Factory para copiar dados de e para o Azure Databricks Delta Lake.This article outlines how to use the Copy activity in Azure Data Factory to copy data to and from Azure Databricks Delta Lake. Ele se baseia na atividade de cópia no artigo Azure data Factory , que apresenta uma visão geral da atividade de cópia.It builds on the Copy activity in Azure Data Factory article, which presents a general overview of copy activity.

Funcionalidades com suporteSupported capabilities

Este Azure Databricks conector Delta Lake tem suporte para as seguintes atividades:This Azure Databricks Delta Lake connector is supported for the following activities:

Em geral, Azure Data Factory dá suporte ao Delta Lake com os seguintes recursos para atender às suas diversas necessidades.In general, Azure Data Factory supports Delta Lake with the following capabilities to meet your various needs.

  • A atividade de cópia dá suporte Azure Databricks conector Delta Lake para copiar dados de qualquer armazenamento de dados de origem com suporte para Azure Databricks tabela Delta Lake e da tabela Delta Lake para qualquer armazenamento de dados de coletor com suporte.Copy activity supports Azure Databricks Delta Lake connector to copy data from any supported source data store to Azure Databricks delta lake table, and from delta lake table to any supported sink data store. Ele aproveita o cluster do databricks para executar a movimentação de dados, consulte detalhes na seção pré-requisitos.It leverages your Databricks cluster to perform the data movement, see details in Prerequisites section.
  • O fluxo de dados de mapeamento dá suporte ao formato Delta genérico no armazenamento do Azure como fonte e coletor para ler e gravar arquivos Delta para ETL sem código e é executado em Azure Integration Runtime gerenciados.Mapping Data Flow supports generic Delta format on Azure Storage as source and sink to read and write Delta files for code-free ETL, and runs on managed Azure Integration Runtime.
  • As atividades do databricks dão suporte à orquestração do ETL centrado em código ou da carga de trabalho de aprendizado de máquina sobre o Delta Lake.Databricks activities supports orchestrating your code-centric ETL or machine learning workload on top of delta lake.

Pré-requisitosPrerequisites

Para usar este Azure Databricks o conector Delta Lake, você precisa configurar um cluster no Azure Databricks.To use this Azure Databricks Delta Lake connector, you need to set up a cluster in Azure Databricks.

  • Para copiar dados para o Delta Lake, a atividade de cópia invoca Azure Databricks cluster para ler dados de um armazenamento do Azure, que é a fonte original ou uma área de preparação para onde Data Factory grava em primeiro lugar os dados de origem por meio de cópia em etapas internas.To copy data to delta lake, Copy activity invokes Azure Databricks cluster to read data from an Azure Storage, which is either your original source or a staging area to where Data Factory firstly writes the source data via built-in staged copy. Saiba mais no Delta Lake como a origem.Learn more from Delta lake as the source.
  • Da mesma forma, para copiar dados do Delta Lake, a atividade de cópia invoca Azure Databricks cluster para gravar dados em um armazenamento do Azure, que é o seu coletor original ou uma área de preparo de onde Data Factory continuará gravando dados no coletor final por meio de cópia em etapas internas.Similarly, to copy data from delta lake, Copy activity invokes Azure Databricks cluster to write data to an Azure Storage, which is either your original sink or a staging area from where Data Factory continues to write data to final sink via built-in staged copy. Saiba mais no Delta Lake como o coletor.Learn more from Delta lake as the sink.

O cluster do databricks precisa ter acesso ao blob do Azure ou Azure Data Lake Storage Gen2 conta, tanto o contêiner de armazenamento/sistema de arquivos usado para origem/coletor/preparo quanto para o sistema de contêiner/arquivo no qual você deseja gravar as tabelas Delta Lake.The Databricks cluster needs to have access to Azure Blob or Azure Data Lake Storage Gen2 account, both the storage container/file system used for source/sink/staging and the container/file system where you want to write the Delta Lake tables.

Durante a execução da atividade de cópia, se o cluster configurado tiver sido encerrado, Data Factory o iniciará automaticamente.During copy activity execution, if the cluster you configured has been terminated, Data Factory automatically starts it. Se você criar pipeline usando a interface do usuário de criação Data Factory, para operações como visualização de dados, você precisa ter um cluster ativo, Data Factory não iniciará o cluster em seu nome.If you author pipeline using Data Factory authoring UI, for operations like data preview, you need to have a live cluster, Data Factory won't start the cluster on your behalf.

Especificar a configuração do clusterSpecify the cluster configuration

  1. Na lista suspensa modo de cluster , selecione padrão.In the Cluster Mode drop-down, select Standard.

  2. Na lista suspensa Databricks Runtime versão , selecione uma versão de tempo de execução do databricks.In the Databricks Runtime Version drop-down, select a Databricks runtime version.

  3. Ative a otimização automática adicionando as seguintes propriedades à sua configuração do Spark:Turn on Auto Optimize by adding the following properties to your Spark configuration:

    spark.databricks.delta.optimizeWrite.enabled true
    spark.databricks.delta.autoCompact.enabled true
    
  4. Configure seu cluster dependendo de suas necessidades de integração e de dimensionamento.Configure your cluster depending on your integration and scaling needs.

Para obter detalhes de configuração do cluster, consulte Configurar clusters.For cluster configuration details, see Configure clusters.

IntroduçãoGet started

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:To perform the Copy activity with a pipeline, you can use one of the following tools or SDKs:

As seções a seguir fornecem detalhes sobre as propriedades que definem Data Factory entidades específicas para um Azure Databricks conector Delta Lake.The following sections provide details about properties that define Data Factory entities specific to an Azure Databricks Delta Lake connector.

Propriedades do serviço vinculadoLinked service properties

As propriedades a seguir têm suporte para um Azure Databricks serviço vinculado do Delta Lake.The following properties are supported for an Azure Databricks Delta Lake linked service.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type deve ser definida como AzureDatabricksDeltaLake.The type property must be set to AzureDatabricksDeltaLake. SimYes
domíniodomain Especifique a URL do espaço de trabalho Azure Databricks, por exemplo, https://adb-xxxxxxxxx.xx.azuredatabricks.net .Specify the Azure Databricks workspace URL, e.g. https://adb-xxxxxxxxx.xx.azuredatabricks.net.
clusterIdclusterId Especifique a ID do cluster de um cluster existente.Specify the cluster ID of an existing cluster. Deve ser um cluster interativo já criado.It should be an already created Interactive Cluster.
Você pode encontrar a ID do cluster de um cluster interativo no workspace do Databricks -> Clusters -> Nome do Cluster Interativo -> Configuração -> Marcas.You can find the Cluster ID of an Interactive Cluster on Databricks workspace -> Clusters -> Interactive Cluster Name -> Configuration -> Tags. Saiba mais.Learn more.
accessTokenaccessToken O token de acesso é necessário para que o Data Factory autentique-se no Azure Databricks.Access token is required for Data Factory to authenticate to Azure Databricks. O token de acesso precisa ser gerado a partir do workspace do Databricks.Access token needs to be generated from the databricks workspace. Etapas mais detalhadas para encontrar o token de acesso podem ser encontradas aqui.More detailed steps to find the access token can be found here.
connectViaconnectVia O Integration Runtime que é usado para se conectar ao armazenamento de dados.The integration runtime that is used to connect to the data store. Você pode usar o tempo de execução de integração do Azure ou um tempo de execução de integração auto-hospedado (se o armazenamento de dados estiver localizado em uma rede privada).You can use the Azure integration runtime or a self-hosted integration runtime (if your data store is located in a private network). Se não for especificado, ele usará o tempo de execução de integração do Azure padrão.If not specified, it uses the default Azure integration runtime. NãoNo

Exemplo:Example:

{
    "name": "AzureDatabricksDeltaLakeLinkedService",
    "properties": {
        "type": "AzureDatabricksDeltaLake",
        "typeProperties": {
            "domain": "https://adb-xxxxxxxxx.xx.azuredatabricks.net",
            "clusterId": "<cluster id>",
            "accessToken": {
                "type": "SecureString", 
                "value": "<access token>"
            }
        }
    }
}

Propriedades do conjunto de dadosDataset properties

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.For a full list of sections and properties available for defining datasets, see the Datasets article.

As propriedades a seguir têm suporte para o conjunto de Azure Databricks do Delta Lake.The following properties are supported for the Azure Databricks Delta Lake dataset.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type do conjunto de conjuntos deve ser definida como AzureDatabricksDeltaLakeDataset.The type property of the dataset must be set to AzureDatabricksDeltaLakeDataset. SimYes
Banco de Dadosdatabase Nome do banco de dados.Name of the database. Não para fonte, sim para coletorNo for source, yes for sink
tabletable Nome da tabela Delta.Name of the delta table. Não para fonte, sim para coletorNo for source, yes for sink

Exemplo:Example:

{
    "name": "AzureDatabricksDeltaLakeDataset",
    "properties": {
        "type": "AzureDatabricksDeltaLakeDataset",
        "typeProperties": {
            "database": "<database name>",
            "table": "<delta table name>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópiaCopy activity properties

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines.For a full list of sections and properties available for defining activities, see the Pipelines article. Esta seção fornece uma lista das propriedades com suporte pela fonte e pelo coletor do Azure Databricks Delta Lake.This section provides a list of properties supported by the Azure Databricks Delta Lake source and sink.

Delta Lake como fonteDelta lake as source

Para copiar dados do Azure Databricks Delta Lake, há suporte para as propriedades a seguir na seção origem da atividade de cópia.To copy data from Azure Databricks Delta Lake, the following properties are supported in the Copy activity source section.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type da fonte da atividade de cópia deve ser definida como AzureDatabricksDeltaLakeSource.The type property of the Copy activity source must be set to AzureDatabricksDeltaLakeSource. SimYes
Consultaquery Especifique a consulta SQL para ler os dados.Specify the SQL query to read data. Para o controle de viagem de tempo, siga o padrão abaixo:For the time travel control, follow the below pattern:
- SELECT * FROM events TIMESTAMP AS OF timestamp_expression
- SELECT * FROM events VERSION AS OF version
NãoNo
exportSettingsexportSettings Configurações avançadas usadas para recuperar dados da tabela Delta.Advanced settings used to retrieve data from delta table. NãoNo
*Em exportSettings : _*Under exportSettings: _
tipotype O tipo de comando de exportação, definido como _ * AzureDatabricksDeltaLakeExportCommand * *.The type of export command, set to _*AzureDatabricksDeltaLakeExportCommand**. SimYes
dateFormatdateFormat Formate o tipo de data como cadeia de caracteres com um formato de data.Format date type to string with a date format. Formatos de data personalizados seguem os formatos no padrão DateTime.Custom date formats follow the formats at datetime pattern. Se não for especificado, ele usará o valor padrão yyyy-MM-dd .If not specified, it uses the default value yyyy-MM-dd. NãoNo
timestampFormattimestampFormat Formate o tipo TIMESTAMP como cadeia de caracteres com um formato de carimbo de hora.Format timestamp type to string with a timestamp format. Formatos de data personalizados seguem os formatos no padrão DateTime.Custom date formats follow the formats at datetime pattern. Se não for especificado, ele usará o valor padrão yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX] .If not specified, it uses the default value yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]. NãoNo

Cópia direta do Delta LakeDirect copy from delta lake

Se o armazenamento e o formato de dados do coletor atenderem aos critérios descritos nesta seção, você poderá usar a atividade de cópia para copiar diretamente de Azure Databricks tabela Delta para o coletor.If your sink data store and format meet the criteria described in this section, you can use the Copy activity to directly copy from Azure Databricks Delta table to sink. Data Factory verifica as configurações e falha na execução da atividade de cópia se os critérios a seguir não forem atendidos:Data Factory checks the settings and fails the Copy activity run if the following criteria is not met:

  • O serviço vinculado do coletor é o armazenamento de BLOBs do Azure ou Azure data Lake Storage Gen2.The sink linked service is Azure Blob storage or Azure Data Lake Storage Gen2. A credencial da conta deve ser pré-configurada na configuração do cluster Azure Databricks, saiba mais em pré-requisitos.The account credential should be pre-configured in Azure Databricks cluster configuration, learn more from Prerequisites.

  • O formato de dados do coletor é de parquet, texto delimitado ou Avro com as seguintes configurações e aponta para uma pasta em vez de arquivo.The sink data format is of Parquet, delimited text, or Avro with the following configurations, and points to a folder instead of file.

    • Para o formato parquet , o codec de compactação é None, encaixado ou gzip.For Parquet format, the compression codec is none, snappy, or gzip.
    • Para o formato de texto delimitado :For delimited text format:
      • rowDelimiter é qualquer caractere único.rowDelimiter is any single character.
      • compression pode ser None, bzip2, gzip.compression can be none, bzip2, gzip.
      • encodingName Não há suporte para UTF-7.encodingName UTF-7 is not supported.
    • Para o formato Avro , o codec de compactação é nenhum, desinflado ou instantâneo.For Avro format, the compression codec is none, deflate, or snappy.
  • Na origem da atividade de cópia, additionalColumns não está especificado.In the Copy activity source, additionalColumns is not specified.

  • Se a cópia de dados para um texto delimitado, no coletor da atividade de cópia, fileExtension precisa ser ". csv".If copying data to delimited text, in copy activity sink, fileExtension need to be ".csv".

  • No mapeamento da atividade de cópia, a conversão de tipo não está habilitada.In the Copy activity mapping, type conversion is not enabled.

Exemplo:Example:

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia em etapas do Delta LakeStaged copy from delta lake

Quando o formato ou armazenamento de dados do coletor não corresponde aos critérios de cópia direta, conforme mencionado na última seção, habilite a cópia em etapas interna usando uma instância do armazenamento do Azure provisória.When your sink data store or format does not match the direct copy criteria, as mentioned in the last section, enable the built-in staged copy using an interim Azure storage instance. O recurso de cópia preparada também oferece melhor rendimento.The staged copy feature also provides you better throughput. Data Factory exporta dados do Azure Databricks Delta Lake para o armazenamento de preparo, depois copia os dados para o coletor e, por fim, limpa os dados temporários do armazenamento de preparo.Data Factory exports data from Azure Databricks Delta Lake into staging storage, then copies the data to sink, and finally cleans up your temporary data from the staging storage. Confira cópia em etapas para obter detalhes sobre como copiar dados usando o preparo.See Staged copy for details about copying data by using staging.

Para usar esse recurso, crie um serviço vinculado do armazenamento de BLOBs do Azure ou Azure data Lake Storage Gen2 serviço vinculado que se refere à conta de armazenamento como o preparo provisório.To use this feature, create an Azure Blob storage linked service or Azure Data Lake Storage Gen2 linked service that refers to the storage account as the interim staging. Em seguida, especifique as enableStaging stagingSettings Propriedades e na atividade de cópia.Then specify the enableStaging and stagingSettings properties in the Copy activity.

Observação

A credencial de conta de armazenamento de preparo deve ser pré-configurada em Azure Databricks configuração de cluster, saiba mais em pré-requisitos.The staging storage account credential should be pre-configured in Azure Databricks cluster configuration, learn more from Prerequisites.

Exemplo:Example:

"activities":[
    {
        "name": "CopyFromDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delta lake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureDatabricksDeltaLakeSource",
                "sqlReaderQuery": "SELECT * FROM events TIMESTAMP AS OF timestamp_expression"
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingStorage",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Delta Lake como coletorDelta lake as sink

Para copiar dados para Azure Databricks Delta Lake, as propriedades a seguir têm suporte na seção coletor de atividade de cópia.To copy data to Azure Databricks Delta Lake, the following properties are supported in the Copy activity sink section.

PropriedadeProperty DescriçãoDescription ObrigatórioRequired
typetype A propriedade Type do coletor da atividade de cópia, definida como AzureDatabricksDeltaLakeSink.The type property of the Copy activity sink, set to AzureDatabricksDeltaLakeSink. SimYes
preCopyScriptpreCopyScript Especifique uma consulta SQL para que a atividade de cópia seja executada antes de gravar dados na tabela Delta do databricks em cada execução.Specify a SQL query for the Copy activity to run before writing data into Databricks delta table in each run. Você pode usar essa propriedade para limpar os dados pré-carregados ou adicionar uma tabela Truncate ou uma instrução de aspiração.You can use this property to clean up the preloaded data, or add a truncate table or Vacuum statement. NãoNo
importSettingsimportSettings Configurações avançadas usadas para gravar dados na tabela Delta.Advanced settings used to write data into delta table. NãoNo
*Em importSettings : _*Under importSettings: _
tipotype O tipo de comando de importação, definido como _ * AzureDatabricksDeltaLakeImportCommand * *.The type of import command, set to _*AzureDatabricksDeltaLakeImportCommand**. SimYes
dateFormatdateFormat Formatar cadeia de caracteres para tipo de data com um formato de data.Format string to date type with a date format. Formatos de data personalizados seguem os formatos no padrão DateTime.Custom date formats follow the formats at datetime pattern. Se não for especificado, ele usará o valor padrão yyyy-MM-dd .If not specified, it uses the default value yyyy-MM-dd. NãoNo
timestampFormattimestampFormat Formatar cadeia de caracteres para tipo TIMESTAMP com um formato de carimbo de data/hora.Format string to timestamp type with a timestamp format. Formatos de data personalizados seguem os formatos no padrão DateTime.Custom date formats follow the formats at datetime pattern. Se não for especificado, ele usará o valor padrão yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX] .If not specified, it uses the default value yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]. NãoNo

Cópia direta para o Delta LakeDirect copy to delta lake

Se o armazenamento e o formato de dados de origem atenderem aos critérios descritos nesta seção, você poderá usar a atividade de cópia para copiar diretamente da origem para Azure Databricks Delta Lake.If your source data store and format meet the criteria described in this section, you can use the Copy activity to directly copy from source to Azure Databricks Delta Lake. Azure Data Factory verifica as configurações e falha na execução da atividade de cópia se os critérios a seguir não forem atendidos:Azure Data Factory checks the settings and fails the Copy activity run if the following criteria is not met:

  • O serviço vinculado de origem é o armazenamento de BLOBs do Azure ou Azure data Lake Storage Gen2.The source linked service is Azure Blob storage or Azure Data Lake Storage Gen2. A credencial da conta deve ser pré-configurada na configuração do cluster Azure Databricks, saiba mais em pré-requisitos.The account credential should be pre-configured in Azure Databricks cluster configuration, learn more from Prerequisites.

  • O formato de dados de origem é de parquet, texto delimitado ou Avro com as seguintes configurações e aponta para uma pasta em vez de arquivo.The source data format is of Parquet, delimited text, or Avro with the following configurations, and points to a folder instead of file.

    • Para o formato parquet , o codec de compactação é None, encaixado ou gzip.For Parquet format, the compression codec is none, snappy, or gzip.
    • Para o formato de texto delimitado :For delimited text format:
      • rowDelimiter é padrão, ou qualquer caractere único.rowDelimiter is default, or any single character.
      • compression pode ser None, bzip2, gzip.compression can be none, bzip2, gzip.
      • encodingName Não há suporte para UTF-7.encodingName UTF-7 is not supported.
    • Para o formato Avro , o codec de compactação é nenhum, desinflado ou instantâneo.For Avro format, the compression codec is none, deflate, or snappy.
  • Na fonte da atividade de cópia:In the Copy activity source:

    • wildcardFileName contém somente curinga * , mas não ? , e wildcardFolderName não é especificado.wildcardFileName only contains wildcard * but not ?, and wildcardFolderName is not specified.
    • prefix, modifiedDateTimeStart, modifiedDateTimeEnd e enablePartitionDiscovery não foram especificados.prefix, modifiedDateTimeStart, modifiedDateTimeEnd, and enablePartitionDiscovery are not specified.
    • additionalColumns não está especificado.additionalColumns is not specified.
  • No mapeamento da atividade de cópia, a conversão de tipo não está habilitada.In the Copy activity mapping, type conversion is not enabled.

Exemplo:Example:

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink"
            }
        }
    }
]

Cópia em etapas para o Delta LakeStaged copy to delta lake

Quando o formato ou armazenamento de dados de origem não corresponder aos critérios de cópia direta, conforme mencionado na última seção, habilite a cópia em etapas interna usando uma instância de armazenamento do Azure provisória.When your source data store or format does not match the direct copy criteria, as mentioned in the last section, enable the built-in staged copy using an interim Azure storage instance. O recurso de cópia preparada também oferece melhor rendimento.The staged copy feature also provides you better throughput. Data Factory converte automaticamente os dados para atender aos requisitos de formato de dados no armazenamento de preparo e, em seguida, carrega os dados no Delta Lake a partir daí.Data Factory automatically converts the data to meet the data format requirements into staging storage, then load data into delta lake from there. Por fim, ele limpa os dados temporários do armazenamento.Finally, it cleans up your temporary data from the storage. Confira cópia em etapas para obter detalhes sobre como copiar dados usando o preparo.See Staged copy for details about copying data using staging.

Para usar esse recurso, crie um serviço vinculado do armazenamento de BLOBs do Azure ou Azure data Lake Storage Gen2 serviço vinculado que se refere à conta de armazenamento como o preparo provisório.To use this feature, create an Azure Blob storage linked service or Azure Data Lake Storage Gen2 linked service that refers to the storage account as the interim staging. Em seguida, especifique as enableStaging stagingSettings Propriedades e na atividade de cópia.Then specify the enableStaging and stagingSettings properties in the Copy activity.

Observação

A credencial de conta de armazenamento de preparo deve ser pré-configurada em Azure Databricks configuração de cluster, saiba mais em pré-requisitos.The staging storage account credential should be pre-configured in Azure Databricks cluster configuration, learn more from Prerequisites.

Exemplo:Example:

"activities":[
    {
        "name": "CopyToDeltaLake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Delta lake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDatabricksDeltaLakeSink"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

MonitoramentoMonitoring

Azure Data Factory fornece a mesma experiência de monitoramento da atividade de cópia que outros conectores.Azure Data Factory provides the same copy activity monitoring experience as other connectors. Além disso, como o carregamento de dados de/para o Delta Lake está em execução no cluster Azure Databricks, você pode exibir ainda mais logs detalhados do cluster e monitorar o desempenho.In addition, because loading data from/to delta lake is running on your Azure Databricks cluster, you can further view detailed cluster logs and monitor performance.

Pesquisar propriedades de atividadeLookup activity properties

Para obter mais informações sobre as propriedades, consulte atividade de pesquisa.For more information about the properties, see Lookup activity.

Próximas etapasNext steps

Para obter uma lista de armazenamentos de dados com suporte como fontes e coletores por atividade de cópia em Data Factory, consulte armazenamentos de dados e formatos com suporte.For a list of data stores supported as sources and sinks by Copy activity in Data Factory, see supported data stores and formats.