Azure Data Factory ve Azure Synapse'de Azure Data Lake Depolama bağlayıcılarıyla ilgili sorunları giderme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Azure Data Factory ve Azure Synapse'teki Azure Data Lake Storage 1. Nesil ve 2. Nesil bağlayıcılarıyla ilgili yaygın sorunları gidermeye yönelik öneriler sağlanır.

Azure Data Lake Storage Gen1

Hata iletisi: Temel alınan bağlantı kapatıldı: SSL/TLS güvenli kanalı için güven ilişkisi kurulamadı.

• Belirtiler: Kopyalama etkinliği aşağıdaki hatayla başarısız oluyor:

  Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

• Neden: SERTIFIKA doğrulaması TLS el sıkışması sırasında başarısız oldu.

• Çözüm: Geçici bir çözüm olarak, Azure Data Lake Storage 1. Nesil için Aktarım Katmanı Güvenliği (TLS) doğrulamasını atlamak için hazırlanan kopyayı kullanın. Bu sorunu yeniden oluşturmanız, ağ izleyicisi (netmon) izlemesini toplamanız ve ardından yerel ağ yapılandırmasını denetlemek için ağ ekibinizle etkileşim kurmanız gerekir.

  

Hata iletisi: Uzak sunucu bir hata döndürdü: (403) Yasak

• Belirtiler: Kopyalama etkinliği aşağıdaki hatayla başarısız olur:

  Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

• Neden: Olası nedenlerden biri, kullandığınız hizmet sorumlusunun veya yönetilen kimliğin belirli klasörlere veya dosyalara erişme izni olmamasıdır.

• Çözüm: Kopyalamanız gereken tüm klasörlere ve alt klasörlere uygun izinler verin. Daha fazla bilgi için bkz. Azure Data Lake Storage 1. Nesil'a veya Azure'dan veri kopyalama.

Hata iletisi: Hizmet sorumlusu kullanılarak erişim belirteci alınamadı. ADAL Hatası: service_unavailable

• Belirtiler: Kopyalama etkinliği aşağıdaki hatayla başarısız oluyor:

  Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

• Neden: Microsoft Entra Id'ye ait Hizmet Belirteci Sunucusu (STS) kullanılabilir olmadığında, bu, istekleri işleyemeyecek kadar meşgul olduğu ve HTTP hatası 503 döndürdüğü anlamına gelir.

• Çözüm: Kopyalama etkinliğini birkaç dakika sonra yeniden çalıştırın.

Azure Data Lake Storage 2. Nesil

Hata kodu: ADLSGen2OperationFailed

• İleti: ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

• Nedenler ve öneriler: Farklı nedenler bu hataya neden olabilir. Olası neden analizi ve ilgili öneri için aşağıdaki listeye bakın.

  Neden analizi	Öneri
  Azure Data Lake Storage 2. Nesil bazı işlemlerin başarısız olduğunu belirten bir hata oluşturursa.	Azure Data Lake Storage 2. Nesil tarafından atılan ayrıntılı hata iletisini denetleyin. Hata geçici bir hataysa işlemi yeniden deneyin. Daha fazla yardım için Azure Depolama desteğine başvurun ve hata iletisinde istek kimliğini belirtin.
  Hata iletisi "Yasak" dizesini içeriyorsa, kullandığınız hizmet sorumlusunun veya yönetilen kimliğin Azure Data Lake Storage 2. Nesil erişmek için yeterli izni olmayabilir.	Bu hatayı gidermek için bkz. Azure Data Lake Storage 2. Nesil'da verileri kopyalama ve dönüştürme.
  Hata iletisi "InternalServerError" dizesini içeriyorsa, hata Azure Data Lake Storage 2. Nesil tarafından döndürülür.	Hata geçici bir hatadan kaynaklanıyor olabilir. Başarısız durumdaysa işlemi yeniden deneyin. Sorun devam ederse Azure Depolama desteğine başvurun ve hata iletisinden istek kimliğini belirtin.
  Hata iletisi iseUnable to read data from the transport connection: An existing connection was forcibly closed by the remote host, tümleştirme çalışma zamanınızın Azure Data Lake Storage 2. Nesil bağlanırken bir ağ sorunu vardır.	Azure Data Lake Storage 2. Nesil güvenlik duvarı kuralı ayarında Azure Data Factory IP adreslerinin izin verilenler listesinde olduğundan emin olun. Daha fazla bilgi için bkz. Azure Depolama güvenlik duvarlarını ve sanal ağları yapılandırma.
  Hata iletisi iseThis endpoint does not support BlobStorageEvents or SoftDelete, Blob depolama olaylarını veya geçici silmeyi etkinleştiren bir Azure Blob Depolama hesabına bağlanmak için Azure Data Lake Storage 2. Nesil bağlı bir hizmet kullanıyorsunuzdur.	Aşağıdaki seçenekleri deneyin: 1. Azure Data Lake Storage 2. Nesil bağlı hizmeti kullanmaya devam etmek istiyorsanız, Azure Blob Depolama Azure Data Lake Storage 2. Nesil yükseltin. Daha fazla bilgi için bkz. Azure Data Lake Storage 2. Nesil özellikleriyle Azure Blob Depolama yükseltme. 2. Bağlı hizmetinizi Azure Blob Depolama olarak değiştirin. 3. Azure Blob Depolama hesabınızda Blob depolama olaylarını veya geçici silmeyi devre dışı bırakın.

Azure Data Lake Storage 2. Nesil hesabı isteği zaman aşımı hatasına neden oldu

• İleti:

  • Hata Kodu = UserErrorFailedBlobFSOperation
  • Hata İletisi = BlobFS operation failed for: A task was canceled.

• Neden: Sorun, genellikle Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı (IR) makinesinde oluşan Azure Data Lake Storage 2. Nesil havuz zaman aşımı hatasından kaynaklanır.

• Öneri:

  • Şirket içinde barındırılan IR makinenizi ve hedef Azure Data Lake Storage 2. Nesil hesabınızı mümkünse aynı bölgeye yerleştirin. Bu, rastgele bir zaman aşımı hatasından kaçınmaya ve daha iyi performans üretmeye yardımcı olabilir.

  • ExpressRoute gibi özel bir ağ ayarı olup olmadığını denetleyin ve ağın yeterli bant genişliğine sahip olduğundan emin olun. Genel bant genişliği düşük olduğunda Şirket içinde barındırılan IR eşzamanlı işleri ayarını düşürmenizi öneririz. Bunun yapılması, birden çok eşzamanlı iş arasında ağ kaynağı rekabeti oluşmasını önlemeye yardımcı olabilir.

  • Dosya boyutu orta veya küçükse, bu tür bir zaman aşımı hatasını azaltmak için, bire bir kopya için daha küçük bir blok boyutu kullanın. Daha fazla bilgi için bkz. Blob Depolama Blok Koy.

    Özel blok boyutunu belirtmek için JSON dosya düzenleyicinizde özelliği burada gösterildiği gibi düzenleyin:

    "sink": {
        "type": "DelimitedTextSink",
        "storeSettings": {
            "type": "AzureBlobFSWriteSettings",
            "blockSizeInMB": 8
        }
    }
    

Kopyalama etkinliği Azure Data Lake Storage 2. Nesil dosya seçemiyor

• Belirtiler: Dosya adı "Asset_Metadata" olduğunda kopyalama etkinliği Azure Data Lake Storage 2. Nesil dosya seçemiyor. Sorun yalnızca Parquet türündeki veri kümesinde oluşur. Aynı dosya adına sahip diğer veri kümesi türleri düzgün çalışır.

• Neden: Geriye dönük uyumluluk için dosya _metadata adında ayrılmış alt dize olarak değerlendirilir.

• Öneri: Aşağıdaki Parquet için ayrılmış listeden kaçınmak için dosya adını değiştirin:

  1. Dosya adı içerir _metadata.
  2. Dosya adı (nokta) ile . başlar.

Hata kodu: ADLSGen2ForbiddenError

• İleti: ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

• Neden: İki olası neden vardır:

  1. Tümleştirme çalışma zamanı, Azure depolama hesabı güvenlik duvarı ayarlarında ağ erişimi tarafından engellenir.
  2. Hizmet sorumlusunun veya yönetilen kimliğin verilere erişmek için yeterli izni yok.

• Öneri:

  1. Genel ağ erişiminin devre dışı bırakılıp bırakılmadığını görmek için Azure depolama hesabı ağ ayarlarınızı denetleyin. Devre dışı bırakılırsa, yönetilen bir sanal ağ tümleştirme çalışma zamanı kullanın ve erişmek için özel bir uç nokta oluşturun. Daha fazla bilgi için bkz . Yönetilen sanal ağ ve Yönetilen sanal ağ ve özel uç noktaları kullanarak kopyalama işlem hattı oluşturma.

  2. Azure depolama hesabı ağ ayarınızda seçili sanal ağları ve IP adreslerini etkinleştirdiyseniz:

     1. Tümleştirme çalışma zamanınızın bazı IP adresi aralıklarına depolama hesabı güvenlik duvarı ayarlarınız tarafından izin verilmediğinden bu mümkündür. Azure tümleştirme çalışma zamanı IP adreslerini veya şirket içinde barındırılan tümleştirme çalışma zamanı IP adresini depolama hesabı güvenlik duvarınıza ekleyin. Azure tümleştirme çalışma zamanı IP adresleri için bkz . Azure Integration Runtime IP adresleri ve depolama hesabı güvenlik duvarına IP aralıkları eklemeyi öğrenmek için bkz . IP ağ kurallarını yönetme.

     2. Güvenilen Azure hizmetlerinin güvenlik duvarında bu depolama hesabına erişmesine izin verirseniz, kopyalama etkinliğinde yönetilen kimlik kimlik doğrulamasını kullanmanız gerekir.

     Azure depolama hesabı güvenlik duvarları ayarları hakkında daha fazla bilgi için bkz. Azure Depolama güvenlik duvarlarını ve sanal ağları yapılandırma.

  3. Hizmet sorumlusu veya yönetilen kimlik kimlik doğrulaması kullanıyorsanız, kopyalama yapmak için hizmet sorumlusuna veya yönetilen kimliğe uygun izinler verin. Kaynak için en azından Depolama Blob Veri Okuyucusu rolü. Havuz için en azından blob veri katkıda bulunanı rolünü Depolama. Daha fazla bilgi için bkz. Azure Data Lake Storage 2. Nesil'da verileri kopyalama ve dönüştürme.

İlgili içerik

Daha fazla sorun giderme yardımı için şu kaynakları deneyin:

• Bağlayıcı sorunlarını giderme kılavuzu
• Data Factory blogu
• Data Factory özellik istekleri
• Azure videoları
• Microsoft Soru-Cevap sayfası
• Data Factory için Stack Overflow forumu
• Data Factory hakkında Twitter bilgileri