Azure Data Factory veya SYNAPSE Analytics ile SAP Business Warehouse 'tan veri kopyalama

Uygulama hedefi: Azure SYNAPSE Analytics 'i Azure Data Factory

bu makalede, Azure Data Factory veya Synapse Analytics işlem hatlarını kullanarak SAP Business Warehouse 'tan (bant genişliği) verileri açmak için Azure Data Lake Storage 2.. Verileri desteklenen diğer havuz veri depolarınakopyalamak için benzer bir işlem kullanabilirsiniz.

Önkoşullar

• Azure Data Factory veya SYNAPSE çalışma alanı: yoksa, bir veri fabrikası oluşturmak veya bir Synapse çalışma alanı oluşturmakiçin adımları izleyin.

• Hedef türü "veritabanı tablosu" olan açık Merkez hedefi (OHD) SAP BW: OHD oluşturmak için veya OHD 'nizin hizmetle tümleştirme için doğru yapılandırılıp yapılandırılmadığını denetlemek için, bu makalenin SAP BW açık hub hedef yapılandırması bölümüne bakın.

• SAP BW Kullanıcı aşağıdaki izinlere ihtiyaç duyuyor:

  • Uzak Işlev çağrıları (RFC) ve SAP BW için yetkilendirme.
  • S_SDSAUTH yetkilendirme nesnesinin "yürütme" etkinliğinin izinleri.

• Sap .net bağlayıcı 3,0 ile Şirket Içinde barındırılan bir tümleştirme çalışma zamanı (IR). Aşağıdaki kurulum adımlarını izleyin:

  1. Şirket içinde barındırılan tümleştirme çalışma zamanı, sürüm 3,13 veya üstünü yükleyip kaydettirin. (Bu işlem bu makalenin ilerleyen kısımlarında açıklanmaktadır.)

  2. 64-BIT SAP BAĞLAYıCıSıNı SAP web sitesinden Microsoft .NET 3,0 için indirin ve şirket IÇINDE barındırılan IR ile aynı bilgisayara yükleyin. Yükleme sırasında, aşağıdaki görüntüde gösterildiği gibi Isteğe bağlı kurulum adımları ILETIŞIM kutusunda GAC 'ye derleme yükleme ' yi seçtiğinizden emin olun:

     

SAP BW açık hub 'dan tam bir kopya yapın

Azure portal hizmetinize gidin. Hizmet Kullanıcı arabirimini ayrı bir sekmede açmak için Azure Data Factory Studio 'Yu aç ' ı açın veya SYNAPSE Studio kutucuğunu açın.

1. Giriş sayfasında, Veri Kopyalama aracını açmak için al ' ı seçin.

2. Özellikler sayfasında, görev türü altında yerleşik kopyalama görevi ' ni seçin ve görev temposunda veya görev zamanlaması' nın altında bir kez çalıştır ' ı seçin ve ardından İleri' yi seçin.

3. Kaynak veri deposu sayfasında + Yeni bağlantı' yı seçin. Bağlayıcı galerisinden Hub SAP BW açın ve ardından devam' ı seçin. Bağlayıcıları filtrelemek için arama kutusuna SAP yazabilirsiniz.

4. Yeni bağlantı (SAP BW açık hub) sayfasında yeni bir bağlantı oluşturmak için aşağıdaki adımları izleyin.

   1. tümleştirme çalışma zamanı listesi aracılığıyla Bağlan , şirket içinde barındırılan mevcut bir ır seçin. Ya da henüz yoksa bir tane oluşturun.

      Şirket içinde barındırılan yeni bir IR oluşturmak için + Yeni' yi seçin ve ardından Şirket içinde barındırılan' ı seçin. Bir ad girin ve ardından İleri' yi seçin. Geçerli bilgisayara yüklemek için Hızlı Kurulum ' u seçin veya sunulan el ile kurulum adımlarını izleyin.

      Önkoşullarbölümünde belirtildiği gibi, şirket IÇINDE barındırılan IR 'nin çalıştığı bilgisayarda 3,0 MICROSOFT .net Için SAP bağlayıcısının yüklü olduğundan emin olun.

   2. SAP BW sunucu adını, sistem numarasını, Istemci kimliğini, dili ( en dışında), Kullanıcı adını ve parolayı girin.

   3. Ayarları doğrulamak için test bağlantısı ' nı seçin ve ardından Oluştur' u seçin.

   

   4. Kaynak veri deposu sayfasında, bağlantı bloğunda yeni oluşturulan bağlantıyı seçin.

   5. Açık hub hedeflerini seçme bölümünde, SAP BW kullanılabilen açık hub hedeflerine gözatamazsınız. Her bir hedefteki verilerin önizlemesini, her bir satırın sonundaki Önizleme düğmesini seçerek önizleyebilirsiniz. Verileri kopyalamak için OHD 'yi seçin ve ardından İleri' yi seçin.

   

5. Gerekiyorsa bir filtre belirtin. OHD 'niz yalnızca tek bir istek KIMLIĞIYLE tek bir veri aktarım işlemi (DTP) yürütmeden veri içeriyorsa veya DTP 'nizin tamamlantığınızdan ve verileri kopyalamak istediğinizden emin değilseniz, Gelişmiş bölümündeki son isteği hariç tut onay kutusunu temizleyin. Verileri Önizle düğmesine tıklayarak verilerin önizlemesini yapabilirsiniz.

   Bu ayarlar hakkında daha fazla bilgi edinmek için bu makaledeki SAP BW hub hedef yapılandırması ' nı açın. Sonra İleri’yi seçin.

   

6. hedef veri deposu sayfasında + yeni bağlantı > Azure Data Lake Storage 2. > devam et' i seçin.

7. yeni bağlantı (Azure Data Lake Storage 2.) sayfasında, bağlantı oluşturmak için aşağıdaki adımları izleyin.

   1. ad açılır listesinden Data Lake Storage 2. özellikli hesabınızı seçin.
   2. Bağlantıyı oluşturmak için Oluştur ' u seçin.

   

8. Hedef veri deposu sayfasında, bağlantı bölümünde yeni oluşturulan bağlantıyı seçin ve çıkış klasörü adı olarak copyfromopenhub girin. Sonra İleri’yi seçin.

   

9. Dosya biçimi ayarı sayfasında, varsayılan ayarları kullanmak için İleri ' yi seçin.

   

10. Ayarlar sayfasında, bir görev adı belirtin ve gelişmiş' i genişletin. Paralel olarak SAP BW yükleme için 5 gibi kopya paralellik derecesi için bir değer girin. Sonra İleri’yi seçin.

    

11. Özet sayfasında, ayarları inceleyin. Sonra İleri’yi seçin.

    

12. Dağıtım sayfasında, işlem hattını Izlemek için izleyici ' yi seçin.

13. Sayfanın sol tarafındaki izleyici sekmesinin otomatik olarak seçili olduğuna dikkat edin. Etkinlik ayrıntılarını görüntülemek ve işlem hattını yeniden çalıştırmak için işlem hattı çalıştırmaları sayfasında işlem hattı adı sütununun altındaki bağlantıları kullanabilirsiniz.

14. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görüntülemek için, işlem hattı adı sütununun altındaki bağlantılar ' ı seçin. İşlem hattında yalnızca bir etkinlik (kopyalama etkinliği) olduğundan tek bir girdi görürsünüz. İşlem hattı-çalıştırmalar görünümüne geri dönmek için üstteki tüm işlem hattı çalıştırmaları bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.

    

15. Her kopyalama etkinliğinin yürütme ayrıntılarını izlemek için, etkinlik izleme görünümündeki her kopyalama etkinliğinin aynı satırındaki bir gözlük simgesi olan Ayrıntılar bağlantısını seçin. Kullanılabilir ayrıntılar, kaynaktan havuza, veri işleme, yürütme adımları ve süre ve kullanılan yapılandırmalara kopyalanmış veri hacmini içerir.

    

16. Her kopyalama etkinliğinin en yüksek Istek kimliğini görüntülemek için, etkinlik izleme görünümüne geri dönün ve her kopyalama etkinliğinin aynı satırındaki çıktıyı seçin.

    

    

SAP BW açık hub 'dan artımlı kopyalama

Şimdi, SAP BW açık hub 'dan artımlı kopya yapılandırmaya devam edelim.

Artımlı kopya, Istek kimliğini temel alan bir "yüksek filigran" mekanizması kullanır. Bu KIMLIK, DTP tarafından açık hub hedefi SAP BW otomatik olarak oluşturulur. Aşağıdaki diyagramda bu iş akışı gösterilmektedir:

Giriş sayfasında, daha fazla bul bölümünde, yerleşik şablonu kullanmak Için ardışık düzen şablonları ' nı seçin.

1. SAP BW Azure Data Lake Storage 2. şablonuna kadar artımlı kopyayı bulmak ve seçmek için SAP BW arayın. bu şablon, verileri Azure Data Lake Storage 2. kopyalar. Diğer havuz türlerine kopyalamak için benzer bir iş akışı kullanabilirsiniz.

2. Şablonun ana sayfasında, aşağıdaki üç bağlantıyı seçin veya oluşturun ve ardından pencerenin sağ alt köşesinde Bu şablonu kullan ' ı seçin.

   • Azure Blob depolama: Bu kılavuzda, en fazla kopyalanmış istek kimliği olan üst sınırı depolamak için Azure Blob depolamayı kullanırız.
   • Açık Hub SAP BW: Bu, verilerin kopyalanacağı kaynaktır. Ayrıntılı yapılandırma için önceki tam kopyalama talimatından bakın.
   • Azure Data Lake Storage 2.: bu, verilerin kopyalanacağı havuzdır. Ayrıntılı yapılandırma için önceki tam kopyalama talimatından bakın.

   

3. Bu şablon, aşağıdaki üç etkinliğe sahip bir işlem hattı oluşturur ve bunları başarılı olarak zincirleme hale getirir: arama, veri kopyalama ve Web.

   İşlem hattı parametreleri sekmesine gidin. Sağlamanız gereken tüm konfigürasyonları görürsünüz.

   

   • Sapopenhubdestinationname: verileri kopyalamak Için Açık hub tablosu adını belirtin.

   • Data_Destination_Container: verileri kopyalamak için hedef Azure Data Lake Storage 2. kapsayıcısını belirtin. Kapsayıcı yoksa, kopyalama etkinliği yürütme sırasında bir tane oluşturur.

   • Data_Destination_Directory: verileri kopyalamak için Azure Data Lake Storage 2. kapsayıcısı altında klasör yolunu belirtin. Yol yoksa, kopyalama etkinliği yürütme sırasında bir yol oluşturur.

   • Highsulu Markblobcontainer: üst eşik değerini depolamak için kapsayıcıyı belirtin.

   • Highsulu Markblobdirectory: üst-eşik değerini depolamak için kapsayıcı altında klasör yolunu belirtin.

   • Highsulu Markblobname: üst eşik değerini depolamak için blob adını belirtin, örneğin requestIdCache.txt . BLOB depolama alanında, Highsulu Markblobcontainer + Highsulu Markblobdirectory + Highsulu Markblobname ( Container/Path/requestIdCache.txt gibi) karşılık gelen yola gidin. 0 içerikli bir blob oluşturun.

     

   • logicappurl: bu şablonda, Blob depolamada yüksek filigrandaki değeri ayarlamak için Azure Logic Apps çağırmak üzere webactivity kullanırız. veya, depolamak için Azure SQL Veritabanı kullanabilirsiniz. Değeri güncelleştirmek için saklı yordam etkinliğini kullanın.

     Aşağıdaki görüntüde gösterildiği gibi öncelikle bir mantıksal uygulama oluşturmanız gerekir. Ardından, http post URL 'sini yapıştırın.

     

     1. Azure portala gidin. Yeni bir Logic Apps hizmeti seçin. Logic Apps tasarımcısına gitmek Için + boş mantıksal uygulama ' yı seçin.

     2. BIR http isteği alındığında bir tetikleyicisi oluşturun. HTTP istek gövdesini aşağıdaki gibi belirtin:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. BLOB oluştur eylemi ekleyin. Klasör yolu ve BLOB adı Için, daha önce highsulu Markblobcontainer + highsulu Markblobdirectory ve highsulu markblobname içinde yapılandırdığınız aynı değerleri kullanın.

     4. Kaydet’i seçin. Ardından, ardışık düzende kullanmak üzere http post URL 'sinin değerini kopyalayın.

4. İşlem hattı parametrelerini sağlamadıktan sonra, > yapılandırmayı doğrulamak üzere bir çalıştırma çağırmak için hata ayıklama sonu ' nu seçin. Ya da tüm değişiklikleri yayımlamak için Yayımla ' yı seçin ve ardından bir çalıştırmayı yürütmek Için tetikleyici Ekle ' yi seçin.

SAP BW açık hub hedefi yapılandırması

Bu bölümde, verileri kopyalamak için SAP BW açık hub bağlayıcısını kullanmak üzere SAP BW tarafının yapılandırması tanıtılmaktadır.

SAP BW 'da Delta ayıklamayı yapılandırma

Hem geçmiş kopyasına hem de artımlı kopyaya ya da yalnızca artımlı kopyaya ihtiyacınız varsa, SAP BW Delta ayıklamayı yapılandırın.

1. Açık hub hedefini oluşturun. Gerekli dönüştürme ve veri aktarımı işlemini otomatik olarak oluşturan OHD 'nin SAP Işlem RSA1 oluşturabilirsiniz. Aşağıdaki ayarları kullanın:

   • ObjectType: herhangi bir nesne türünü kullanabilirsiniz. Burada, bir örnek olarak InfoCube kullanıyoruz.
   • Hedef türü: veritabanı tablosu seçin.
   • Tablonun anahtarı: Teknik anahtar seçin.
   • Ayıklama: verileri tut ve tabloya kayıt Ekle ' yi seçin.

   

   

   DTP için paralel çalışan SAP iş işlemlerinin sayısını artırabilirsiniz:

   

2. İşlem zincirlerine DTP 'yi zamanlayın.

   Bir küpe yönelik Delta DTP yalnızca gerekli satırlar sıkıştırılmamışsa işe yarar. Açık hub tablosuna DTP 'den önce siyah beyaz küp sıkıştırması 'nın çalışmadığından emin olun. Bunu yapmanın en kolay yolu, DTP 'yi mevcut işlem zincirleriyle tümleştirmeniz olur. Aşağıdaki örnekte, DTP (OHD 'ye), Ayarla (toplu toplama) ve daraltma (küp sıkıştırma) adımları arasında işlem zincirine eklenir.

   

SAP BW 'de tam ayıklama yapılandırma

Delta ayıklamanın yanı sıra, aynı SAP BW ınfoprovider ' ı tümüyle ayıklamasını isteyebilirsiniz. Bu genellikle tam kopya yapmak, artımlı olmamak veya değişim ayıklamayıyeniden kullanmak istediğinizde geçerlidir.

Aynı OHD için birden fazla DTP olamaz. Bu nedenle, Delta Ayıklamadan önce ek bir OHD oluşturmanız gerekir.

Tam yük OHD için, Delta ayıklama için farklı seçenekler seçin:

• OHD 'de: verileri silmek ve kayıt eklemek için ayıklama seçeneğini ayarlayın. Aksi takdirde, bir bant genişliği işlem zincirinde DTP 'yi tekrarlamanız sırasında veriler birçok kez ayıklanır.

• DTP: ayıklama modunu tam olarak ayarlayın. Bu görüntüde gösterildiği gibi, OHD oluşturulduktan sonra otomatik olarak oluşturulan DTP 'nin Delta değerinden hemen tam olarak değiştirilmesi gerekir:

  

• Bant genişliği açık hub Bağlayıcısı: son Isteği hariç tut' ı kapatın. Aksi takdirde, hiçbir şey ayıklanmaz.

Genellikle tam DTP 'yi el ile çalıştırırsınız. Ya da, tam DTP için bir işlem zinciri oluşturabilirsiniz. Genellikle, var olan işlem zincirlerinden bağımsız olan ayrı bir zincirdir. Her iki durumda da, kopyalamayı kullanarak ayıklama işlemine başlamadan önce DTP 'nin bitdiğinizden emin olun. Aksi takdirde, yalnızca kısmi veriler kopyalanacaktır.

İlk kez Delta ayıklamayı Çalıştır

İlk Delta ayıklama teknik açıdan tam bir ayıklamadır. Varsayılan olarak SAP BW açık hub Bağlayıcısı, verileri kopyalarken son isteği dışlar. İlk Delta ayıklanması için, sonraki bir DTP, tabloda ayrı bir istek KIMLIĞI olan Delta verileri üretene kadar kopyalama etkinliği tarafından hiçbir veri ayıklanmaz. Bu senaryoyu önlemenin iki yolu vardır:

• İlk Delta ayıklama için son Isteği hariç tut seçeneğini devre dışı bırakın. İlk Delta ayıklanmasını ilk kez başlamadan önce ilk Delta DTP 'nin bitmiştir.
• Sonraki bölümde açıklandığı gibi, Delta ayıklamayı yeniden eşitleme yordamını kullanın.

Delta ayıklamayı yeniden eşitleme

Aşağıdaki senaryolar SAP BW küplerindeki verileri değiştirir ancak Delta DTP tarafından değerlendirilmez:

• Seçmeli silmeyi SAP BW (herhangi bir filtre koşulunu kullanarak satır)
• SAP BW isteği silme (hatalı istekler)

SAP açık hub hedefi, Data-Mart denetimli bir veri hedefi değildir (2015 sürümünden bu yana tüm SAP BW destek paketlerinde). Bu nedenle, OHD 'deki verileri değiştirmeden bir küpten verileri silebilirsiniz. Daha sonra küpün verilerini hizmetle yeniden eşitlemeniz gerekir:

1. Hizmette tam ayıklama çalıştırın (SAP 'de tam DTP kullanarak).
2. Delta DTP 'si için açık hub tablosundaki tüm satırları silin.
3. Değişim DTP 'nin durumunu getirildi olarak ayarlayın.

Bundan sonra, sonraki tüm Delta DTPs ve Delta dışlamaları beklendiği gibi çalışır.

Delta DTP 'nin durumunu getirildi olarak ayarlamak için, Delta DTP 'yi el ile çalıştırmak için aşağıdaki seçeneği kullanabilirsiniz:

Veri Aktarımı yok; Kaynakta Delta durumu: getirildi

Sonraki adımlar

SAP BW Open hub Bağlayıcısı desteği hakkında bilgi edinin: