Share via

Solucionar problemas dos conectores do Armazenamento do Azure Data Lake no Azure Data Factory e no Azure Synapse

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo fornece sugestões para solucionar problemas comuns com os conectores Azure Data Lake Storage Gen1 e Gen2 no Azure Data Factory e Azure Synapse.

Armazenamento do Azure Data Lake Ger1

Mensagem de erro: A conexão subjacente foi fechada: Não foi possível estabelecer uma relação de confiança para o canal seguro SSL/TLS.

  • Sintomas: A atividade de cópia falha com o seguinte erro:

    Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

  • Causa: A validação do certificado falhou durante o handshake TLS.

  • Resolução: como solução alternativa, use a cópia em estágios para ignorar a validação TLS (Transport Layer Security) para o Azure Data Lake Storage Gen1. Você precisa reproduzir esse problema e coletar o rastreamento do monitor de rede (netmon) e, em seguida, envolver sua equipe de rede para verificar a configuração da rede local.

    Diagram of Azure Data Lake Storage Gen1 connections for troubleshooting issues.

Mensagem de erro: O servidor remoto retornou um erro: (403) Proibido

  • Sintomas: A atividade de cópia falha com o seguinte erro:

    Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

  • Causa: uma causa possível é que a entidade de serviço ou a identidade gerenciada que você usa não tem permissão para acessar determinadas pastas ou arquivos.

  • Resolução: conceda permissões apropriadas para todas as pastas e subpastas que você precisa copiar. Para obter mais informações, consulte Copiar dados de ou para o Azure Data Lake Storage Gen1.

Mensagem de erro: Falha ao obter o token de acesso usando a entidade de serviço. Erro ADAL: service_unavailable

  • Sintomas: A atividade de cópia falha com o seguinte erro:

    Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

  • Causa: Quando o Servidor de Token de Serviço (STS) de propriedade do Microsoft Entra ID não está disponível, isso significa que ele está muito ocupado para lidar com solicitações e retorna o erro HTTP 503.

  • Resolução: execute novamente a atividade de cópia após vários minutos.

Azure Data Lake Storage Gen2

Código de erro: ADLSGen2OperationFailed

  • Mensagem: ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

  • Causas e recomendações: Diferentes causas podem levar a este erro. Confira abaixo a lista para possível análise de causa e recomendação relacionada.

    Análise de causa Recomendação
    Se o Azure Data Lake Storage Gen2 gerar erro indicando que alguma operação falhou. Verifique a mensagem de erro detalhada lançada pelo Azure Data Lake Storage Gen2. Se o erro for uma falha transitória, tente novamente a operação. Para obter mais ajuda, entre em contato com o suporte do Armazenamento do Azure e forneça a ID da solicitação na mensagem de erro.
    Se a mensagem de erro contiver a cadeia de caracteres "Proibido", a entidade de serviço ou a identidade gerenciada que você usa pode não ter permissão suficiente para acessar o Azure Data Lake Storage Gen2. Para solucionar esse erro, consulte Copiar e transformar dados no Azure Data Lake Storage Gen2.
    Se a mensagem de erro contiver a cadeia de caracteres "InternalServerError", o erro será retornado pelo Azure Data Lake Storage Gen2. O erro pode ser causado por uma falha transitória. Se for o caso, repita a operação. Se o problema persistir, entre em contato com o suporte do Armazenamento do Azure e forneça a ID da solicitação da mensagem de erro.
    Se a mensagem de erro for Unable to read data from the transport connection: An existing connection was forcibly closed by the remote host, seu tempo de execução de integração tem um problema de rede ao se conectar ao Azure Data Lake Storage Gen2. Na configuração da regra de firewall do Azure Data Lake Storage Gen2, verifique se os endereços IP do Azure Data Factory estão na lista de permissões. Para obter mais informações, veja Configurar firewalls e redes virtuais do Armazenamento do Microsoft Azure.
    Se a mensagem de erro for This endpoint does not support BlobStorageEvents or SoftDelete, você está usando um serviço vinculado do Azure Data Lake Storage Gen2 para se conectar a uma conta de Armazenamento de Blob do Azure que habilita eventos de armazenamento de Blob ou exclusão suave. Tente as seguintes opções:
    1. Se você ainda quiser usar um serviço vinculado do Azure Data Lake Storage Gen2, atualize seu Armazenamento de Blob do Azure para o Azure Data Lake Storage Gen2. Para obter mais informações, consulte Atualizar o Armazenamento de Blobs do Azure com os recursos do Azure Data Lake Storage Gen2.
    2. Mude seu serviço vinculado para o Armazenamento de Blobs do Azure.
    3. Desative eventos de armazenamento de Blob ou exclusão suave em sua conta de Armazenamento de Blob do Azure.

A solicitação para a conta do Azure Data Lake Storage Gen2 causou um erro de tempo limite

  • Mensagem:

    • Código de erro = UserErrorFailedBlobFSOperation
    • Mensagem de erro = BlobFS operation failed for: A task was canceled.

  • Causa: o problema é causado pelo erro de tempo limite do coletor do Azure Data Lake Storage Gen2, que geralmente ocorre na máquina IR (Self-hosted Integration Runtime).

  • Recomendação:

    • Coloque sua máquina de IR auto-hospedada e direcione a conta do Azure Data Lake Storage Gen2 na mesma região, se possível. Isso pode ajudar a evitar um erro aleatório de tempo limite e produzir um melhor desempenho.

    • Verifique se há uma configuração de rede especial, como a Rota Expressa, e verifique se a rede tem largura de banda suficiente. Sugerimos que você reduza a configuração de trabalhos simultâneos de IR auto-hospedados quando a largura de banda geral estiver baixa. Isso pode ajudar a evitar a concorrência de recursos de rede em vários trabalhos simultâneos.

    • Se o tamanho do arquivo for moderado ou pequeno, use um tamanho de bloco menor para cópia não binária para atenuar esse erro de tempo limite. Para obter mais informações, consulte Blob Storage Put Block.

      Para especificar o tamanho do bloco personalizado, edite a propriedade no editor de arquivos JSON, conforme mostrado aqui:

      "sink": {
    "type": "DelimitedTextSink",
    "storeSettings": {
        "type": "AzureBlobFSWriteSettings",
        "blockSizeInMB": 8
    }
}

A atividade de cópia não é capaz de selecionar arquivos do Azure Data Lake Storage Gen2

  • Sintomas: A atividade de cópia não é capaz de selecionar arquivos do Azure Data Lake Storage Gen2 quando o nome do arquivo é "Asset_Metadata". O problema ocorre apenas no conjunto de dados do tipo Parquet. Outros tipos de conjuntos de dados com o mesmo nome de arquivo funcionam corretamente.

  • Causa: Para a compatibilidade com versões anteriores, _metadata é tratada como uma substring reservada no nome do arquivo.

  • Recomendação: Altere o nome do arquivo para evitar a lista reservada para o Parquet abaixo:

    1. O nome do arquivo contém _metadata.
    2. O nome do arquivo começa com . (ponto).

Código de erro: ADLSGen2ForbiddenError

  • Mensagem: ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

  • Causa: existem duas causas possíveis:

    1. O tempo de execução da integração é bloqueado pelo acesso à rede nas configurações de firewall da conta de armazenamento do Azure.
    2. A entidade de serviço ou a identidade gerenciada não tem permissão suficiente para acessar os dados.

  • Recomendação:

    1. Verifique as configurações de rede da sua conta de armazenamento do Azure para ver se o acesso à rede pública está desabilitado. Se desabilitado, use um tempo de execução de integração de rede virtual gerenciado e crie um ponto de extremidade privado para acessar. Para obter mais informações, consulte Rede virtual gerenciada e Criar um pipeline de cópia usando VNet gerenciada e pontos de extremidade privados.

    2. Se você tiver habilitado redes virtuais selecionadas e endereços IP em sua configuração de rede da conta de armazenamento do Azure:

      1. Isso é possível porque alguns intervalos de endereços IP do seu tempo de execução de integração não são permitidos pelas configurações de firewall da sua conta de armazenamento. Adicione os endereços IP do tempo de execução de integração do Azure ou o endereço IP do tempo de execução de integração auto-hospedado ao firewall da sua conta de armazenamento. Para endereços IP do tempo de execução da integração do Azure, consulte Endereços IP do Tempo de Execução da Integração do Azure e, para saber como adicionar intervalos de IP no firewall da conta de armazenamento, consulte Gerenciando regras de rede IP.

      2. Se você permitir que serviços confiáveis do Azure acessem essa conta de armazenamento no firewall, deverá usar a autenticação de identidade gerenciada na atividade de cópia.

      Para obter mais informações sobre as configurações de firewalls da conta de armazenamento do Azure, consulte Configurar firewalls de armazenamento do Azure e redes virtuais.

    3. Se você usar a entidade de serviço ou a autenticação de identidade gerenciada, conceda à entidade de serviço ou à identidade gerenciada permissões apropriadas para fazer cópia. Para a origem, pelo menos a função Leitor de Dados de Blob de Armazenamento . Para coletor, pelo menos a função de Colaborador de Dados de Blob de Armazenamento . Para obter mais informações, consulte Copiar e transformar dados no Azure Data Lake Storage Gen2.

Conteúdos relacionados

Para obter mais ajuda na solução de problemas, tente estes recursos: