Değişiklik veri yakalama kaynağı kullanarak değiştirilen verileri Azure Data Lake Storage 2. Nesil Azure SQL Veritabanı yakalama

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, değişiklik veri yakalama (CDC) kaynağı oluşturmak için Azure Data Factory kullanıcı arabirimini kullanacaksınız. Kaynak, değiştirilen verileri bir Azure Data Lake Storage 2. Nesil kaynağından alır ve gerçek zamanlı olarak Azure SQL Veritabanı ekler.

Bu makalede şunları öğreneceksiniz:

  • CDC kaynağı oluşturun.
  • CDC etkinliğini izleyin.

Bu makalede yapılandırma düzenini değiştirebilir ve genişletebilirsiniz.

Önkoşullar

Bu makaledeki yordamlara başlamadan önce şu kaynaklara sahip olduğunuzdan emin olun:

  • Azure aboneliği. Azure aboneliğiniz yoksa ücretsiz bir Azure hesabı oluşturun.
  • SQL veritabanı. kaynak veri deposu olarak Azure SQL Veritabanı kullanırsınız. SQL veritabanınız yoksa Azure portalında bir veritabanı oluşturun.
  • Depolama hesabı. Azure Data Lake Storage 2. Nesil'de depolanan Delta Lake'i hedef veri deposu olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz . Depolama hesabı oluşturma.

CDC yapıtı oluşturma

  1. Veri fabrikanızda Yazar bölmesine gidin. İşlem Hatlarının altında Veri Yakalamayı Değiştir (önizleme) adlı yeni bir üst düzey yapıt görüntülenir.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Üç nokta görünene kadar Veri Yakalamayı Değiştir (önizleme) öğesinin üzerine gelin. Ardından Veri Yakalama (önizleme) Eylemlerini Değiştir'i seçin.

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Yeni CDC (önizleme) öğesini seçin. Bu adım, kılavuzlu işlemi başlatmak için bir açılır menü açar.

    Screenshot of a list of change data capture actions.

  4. CDC kaynağınızı adlandırmanız istenir. Varsayılan olarak, ad 1 artan bir sayıyla "adfcdc" şeklindedir. Bu varsayılan adı seçtiğiniz bir adla değiştirebilirsiniz.

    Screenshot of the text box to update the name of a resource.

  5. Veri kaynağınızı seçmek için açılan listeyi kullanın. Bu makale için Sınırlanmış Metin'i seçin.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Screenshot of the box to choose or create a linked service.

  7. Sütun ve satır sınırlayıcıları da dahil olmak üzere isteğe bağlı olarak gelişmiş kaynak yapılandırmaları ayarlamak için Kaynak ayarları alanını kullanın.

    Screenshot of advanced source settings to set delimiters.

    Bu kaynak ayarlarını el ile düzenlemezseniz, bunlar varsayılan ayarlara ayarlanır.

  8. Kaynak veri klasörünüzü seçmek için Gözat düğmesini kullanın.

    Screenshot of a folder icon to browse for a folder path.

  9. Bir klasör yolu seçtikten sonra, veri hedefinizi ayarlamak için Devam'ı seçin.

    Screenshot of the Continue button in the guided process to select data targets.

    Artı (+) düğmesini kullanarak birden çok kaynak klasör eklemeyi seçebilirsiniz. Diğer kaynaklar da zaten seçtiğiniz bağlı hizmeti kullanmalıdır.

  10. Açılan listeyi kullanarak bir Hedef türü değeri seçin. Bu makale için Azure SQL Veritabanı'i seçin.

    Screenshot of a dropdown menu of all data target types.

  11. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Screenshot of the box to choose or create a linked service to your data target.

  12. Hedef tablolar için yeni bir hedef tablo oluşturabilir veya var olan bir tabloyu seçebilirsiniz:

    • Hedef tablo oluşturmak için Yeni varlıklar sekmesini ve ardından Yeni tabloları düzenle'yi seçin.

      Screenshot of the tab to create new tables for your target.

    • Var olan bir tabloyu seçmek için Var olan varlıklar sekmesini seçin ve ardından onay kutusunu kullanarak bir tablo seçin. Tablo verilerinizi görüntülemek için Önizleme düğmesini kullanın.

      Screenshot of the tab to choose tables for your target.

    Hedefte var olan tablolar eşleşen adlara sahipse, varsayılan olarak Var olan varlıklar'ın altında seçilirler. Aksi takdirde, Yeni varlıklar altında eşleşen adlara sahip yeni tablolar oluşturulur. Ayrıca, Yeni tabloları düzenle düğmesini kullanarak yeni tabloları düzenleyebilirsiniz.

  13. SQL veritabanınızdan birden çok hedef tablo seçmek için onay kutularını kullanabilirsiniz. Hedef tabloları seçmeyi bitirdikten sonra Devam'ı seçin.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  14. Değişiklik verilerini yakalamak için yeni bir sekme görüntülenir. Bu sekme, yeni kaynağınızı yapılandırabileceğiniz CDC studio'dur.

    Screenshot of the change data capture studio.

    Sizin için otomatik olarak yeni bir eşleme oluşturulur. Açılan listeleri kullanarak eşlemeniz için Kaynak Tablo ve Hedef Tablo seçimlerini güncelleştirebilirsiniz.

    Screenshot of the source-to-target mapping in the change data capture studio.

  15. Tablolarınızı seçtikten sonra, sütunları varsayılan olarak Otomatik eşleme iki durumlu düğmesi açık olarak eşlenir. Otomatik eşleme , havuzdaki sütunları ada göre otomatik olarak eşler, kaynak şema geliştikçe yeni sütun değişikliklerini alır ve bu bilgileri desteklenen havuz türlerine akışla aktarır.

    Otomatik eşlemeyi kullanmak ve sütun eşlemelerini değiştirmek istemiyorsanız, doğrudan 18. adıma gidin.

    Screenshot of the toggle for automatic mapping turned on.

    Sütun eşlemelerini etkinleştirmek istiyorsanız eşlemeleri seçin ve Otomatik eşleme iki durumlu düğmesini kapatın. Ardından, eşlemeleri görüntülemek için Sütun eşlemeleri düğmesini seçin.

    Screenshot of mapping selection, the toggle for automatic mapping turned off, and the button for column mappings.

    Otomatik eşleme iki durumlu düğmesini açarak istediğiniz zaman otomatik eşlemeye geri dönebilirsiniz.

  16. Sütun eşlemelerinizi görüntüleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütun için sütun eşlemelerinizi düzenlemek için açılan listeleri kullanın.

    Screenshot of the page for editing column mappings.

    Bu sayfadan şunları yapabilirsiniz:

    • Yeni eşleme düğmesini kullanarak daha fazla sütun eşlemesi ekleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütunu için seçim yapmak için açılan listeleri kullanın.
    • Desteklenen havuz türleri için silme işlemini izlemek istiyorsanız Anahtarlar sütununu seçin.
    • Verilerin hedefe nasıl göründüğünü görselleştirmek için Veri önizleme altındaki Yenile düğmesini seçin.

    Screenshot of the button for adding column mappings, the dropdown list for mapping methods, the Keys column, and the Refresh button.

  17. Eşlemeniz tamamlandığında ana CDC tuvaline dönmek için ok düğmesini seçin.

    Screenshot of the button to go back to the table mapping page.

  18. Bir CDC yapıtında daha fazla kaynak-hedef eşlemesi ekleyebilirsiniz. Daha fazla veri kaynağı ve hedef eklemek için Düzenle düğmesini kullanın. Ardından Yeni eşleme'yi seçin ve açılan listeleri kullanarak yeni bir kaynak ve hedef ayarlayın. Bu eşlemelerin her biri için otomatik eşlemeyi bağımsız olarak açabilir veya kapatabilirsiniz.

    Screenshot of the button to add new sources and the button to set a new source-to-target mapping.

  19. Eşlemeleriniz tamamlandıktan sonra, Gecikme Süresini Ayarla düğmesini kullanarak CDC gecikme sürenizi ayarlayın.

    Screenshot of the Set Latency button at the top of the canvas.

  20. Değişiklikleri yapmak için CDC'nizin gecikme süresini ve ardından Uygula'yı seçin.

    Varsayılan olarak gecikme süresi 15 dakika olarak ayarlanır. Bu makaledeki örnek, gecikme süresi için Gerçek zamanlı seçeneğini kullanır. Gerçek zamanlı gecikme süresi, kaynak verilerinizdeki değişiklikleri 1 dakikadan kısa aralıklarla sürekli olarak alır.

    Diğer gecikme süreleri için (örneğin, 15 dakika seçerseniz), değişiklik verileri yakalama işlemi kaynak verilerinizi işler ve son işlenen zamandan bu yana değiştirilen verileri alır.

    Screenshot of the options for setting latency.

    Dekont

    Destek akış veri tümleştirmesine (Azure Event Hubs ve Kafka veri kaynakları) genişletilirse gecikme süresi varsayılan olarak Gerçek zamanlı olarak ayarlanır.

  21. CDC'nizi yapılandırmayı tamamladıktan sonra değişikliklerinizi yayımlamak için Tümünü yayımla'yı seçin.

    Screenshot of the publish button at the top of the canvas.

    Dekont

    Değişikliklerinizi yayımlamazsanız CDC kaynağınızı başlatamazsınız. Sonraki adımdaki Başlat düğmesi kullanılamaz.

  22. Değişiklik verileri yakalamanızı çalıştırmaya başlamak için Başlat'ı seçin.

    Screenshot of the Start button at the top of the canvas.

Değişiklik verilerini yakalamanızı izleme

  1. şu yöntemlerden birini kullanarak İzleyici bölmesini açın:

    • Azure portalında İzleyici'yi seçin.

      Screenshot of the Monitor button in the Azure portal.

    • CDC tasarımcısından izleme simgesini seçin.

      Screenshot of the monitoring icon at the top of the CDC canvas.

  2. CDC kaynaklarınızı görüntülemek için Veri Yakalamayı Değiştir (önizleme) seçeneğini belirleyin.

    Screenshot of the Change Data Capture button.

    Veri Yakalamayı Değiştir bölmesi, değişiklik verilerini yakalamanız için Kaynak, Hedef, Durum ve son işlenen bilgileri gösterir.

    Screenshot of an overview of the change data capture monitoring page.

  3. Daha fazla ayrıntı görmek için CDC'nizin adını seçin. Diğer tanılama bilgileriyle birlikte kaç değişikliğin (ekleme, güncelleştirme veya silme) okunup yazıldığını görebilirsiniz.

    Screenshot of the detailed monitoring of a selected change data capture.

    Değişiklik verileri yakalamanızda birden çok eşleme ayarlarsanız, her eşleme farklı bir renk olarak görünür. Her eşlemenin belirli ayrıntılarını görmek için çubuğu seçin veya bölmenin altındaki tanılama bilgilerini kullanın.

    Screenshot of the detailed monitoring information for a change data capture with multiple source-to-target mappings.

    Screenshot of a detailed breakdown of each mapping in a change data capture artifact.

İlgili içerik