Striim kullanarak verileri Azure Cosmos DB SQL API hesabına geçirme

UYGULANDıĞı YER: SQL API

Azure marketi'nin Striim görüntüsü, veri ambarlarından ve veritabanlarından Azure'a sürekli gerçek zamanlı veri taşıma sunar. Verileri taşıma sırasında satır içinde normalleştirme, veri dönüştürme, gerçek zamanlı analiz ve veri raporlama senaryolarını etkinleştirebilirsiniz. Kurumsal verileri Azure Cosmos DB api'sinde sürekli olarak taşımak için Striim'i SQL edinebilirsiniz. Azure, Striim'i dağıtmayı ve verileri Azure veritabanına geçirmeyi kolaylaştıran bir Cosmos sunar.

Bu makalede, Bir Oracle veritabanından Azure Cosmos DB veritabanına veri geçirmek için Striim'in nasıl SQL api hesabı açıklanmıştır.

Önkoşullar

• Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

• Şirket içinde çalışan ve içinde bazı veriler olan bir Oracle veritabanı.

Striim market çözümünü dağıtma

1. Azure portal oturum açın.

2. Kaynak oluştur'ı seçin ve Azure markette Striim araması oluşturun. İlk seçeneği belirleyin ve Oluştur'a seçin.

   

3. Ardından, Striim örneğinin yapılandırma özelliklerini girin. Striim ortamı bir sanal makineye dağıtılır. Temel Bilgiler bölmesinde VM kullanıcı adını, VM parolasını girin (bu parola VM'ye SSH oluşturmak için kullanılır). Striim'i dağıtmak istediğiniz Abonelik, Kaynak Grubu ve Konum ayrıntılarını seçin. Tamamlandıktan sonra Tamam'ı seçin.

   

4. Striim Kümesi ayarları bölmesinde, Striim dağıtımı türünü ve sanal makine boyutunu seçin.

   Ayar	Değer	Açıklama
   Striim dağıtım türü	Tek Başına	Striim, Tek Başına veya Küme dağıtım türlerinde çalışır. Tek başına mod Striim sunucusunu tek bir sanal makineye dağıtır ve veri hacminize bağlı olarak VM'lerin boyutunu seçebilirsiniz. Küme modu, Striim sunucusunu seçilen boyuta sahip iki veya daha fazla VM'ye dağıtır. 2'den fazla düğüme sahip küme ortamları otomatik yüksek kullanılabilirlik ve yük devretme sunar. Bu öğreticide Tek başına seçeneğini kullanabilirsiniz. Varsayılan "sanal makine" Standard_F4s VM'yi kullanın.
   Striim kümesi adı	<Striim_cluster_Name>	Striim kümesi adı.
   Striim kümesi parolası	<Striim_cluster_password>	Kümenin parolası.

   Formu doldurarak devam etmek için Tamam'ı seçin.

5. Striim erişim ayarları bölmesinde, Genel IP adresini (varsayılan değerleri seçin), Striim için etki alanı adı, Striim kullanıcı arabiriminde oturum açil olarak kullanmak istediğiniz Yönetici parolasını yapılandırabilirsiniz. Bir VNET ve Alt Ağ yapılandırın (varsayılan değerleri seçin). Ayrıntıları doldurduktan sonra devam etmek için Tamam'ı seçin.

   

6. Azure dağıtımı doğrular ve her şeyin iyi olduğundan emin olur; doğrulamanın tamamlanması birkaç dakika sürer. Doğrulama tamamlandıktan sonra Tamam'ı seçin.

7. Son olarak kullanım koşullarını gözden geçirerek Oluştur'a seçerek Striim örneğinizi oluşturun.

Kaynak veritabanını yapılandırma

Bu bölümde Oracle veritabanını veri taşıma kaynağı olarak yapılandırabilirsiniz. Oracle'a bağlanmak için Oracle JDBC sürücüsüne ihtiyacınız olacak. Kaynak Oracle veritabanınıza yönelik değişiklikleri okumak için LogMiner veya XStream API'lerini kullanabilirsiniz. Oracle veritabanındaki verileri okumak, yazmak veya kalıcı yapmak için Oracle JDBC sürücüsünün Striim'in Java sınıf yolu içinde mevcut olması gerekir.

ojdbc8.jar sürücüsünü yerel makinenize indirin. Bunu daha sonra Striim kümesine yükleyebilirsiniz.

Hedef veritabanını yapılandırma

Bu bölümde Azure Cosmos DB SQL API hesabını veri taşıma hedefi olarak yapılandıracaksınız.

1. Azure portal kullanarak azure Cosmos DB SQL API hesabı Azure portal.

2. Azure Veri Gezgini hesabınıza Cosmos gidin. Yeni kapsayıcı oluşturmak için Yeni Kapsayıcı'ya seçin. Oracle veritabanındaki ürünleri ve sipariş verilerini Azure veritabanına Cosmos. Orders adlı kapsayıcıyla StriimDemo adlı yeni bir veritabanı oluşturun. Kapsayıcıya 1000 RU (bu örnekte 1000 RU kullanılır, ancak iş yükünüz için tahmini aktarım hızını) ve bölüm anahtarı olarak /ORDER_ID kullanın. Bu değerler, kaynak verilerinize bağlı olarak farklılık gösterir.

   

Oracle'ı Azure Cosmos DB veri akışı olarak yapılandırma

1. Şimdi Striim'e geri gidelim. Striim ile etkileşim kurmadan önce daha önce indirdiğiniz Oracle JDBC sürücüsünü yükleyin.

2. Aşağıdaki örnekte dağıtılan Striim örneğine Azure portal. Üst menü Bağlan seçin ve SSH sekmesinden VM yerel hesabı kullanarak oturum aç alanında URL'yi kopyalayın.

   

3. Yeni bir terminal penceresi açın ve dosyadan kopyalanan SSH komutunu Azure portal. Bu makalede MacOS'ta terminal lanmıştır. Bir makinede PuTTY veya farklı bir SSH istemcisi kullanarak benzer Windows takip edersiniz. İstendiğinde, devam etmek için evet yazın ve önceki adımda sanal makine için ayarlamış olduğu parolayı girin.

   

4. Şimdi, daha önce indirdiğiniz ojdbc8.jar dosyasını kopyalamak için yeni bir terminal sekmesi açın. Jar dosyasını yerel makineden Azure'da çalışan Striim örneğinin tmp klasörüne kopyalamak için aşağıdaki SCP komutunu kullanın:

   cd <Directory_path_where_the_Jar_file_exists> 
   scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp
   

   

5. Ardından, SSH'nin Striim örneğine ve Sudo olarak oturum aç'a sahip olduğunuz pencereye geri gidin. Aşağıdaki komutlarla ojdbc8.jar dosyasını /tmp dizininden Striim örneğinizin lib dizinine taşıma:

   sudo su
   cd /tmp
   mv ojdbc8.jar /opt/striim/lib
   chmod +x ojdbc8.jar
   

   

6. Aynı terminal penceresinde aşağıdaki komutları yürüterek Striim sunucusunu yeniden başlatın:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

7. Striim'in başlaması bir dakika alır. Durumu görmek için aşağıdaki komutu çalıştırın:

   tail -f /opt/striim/logs/striim-node.log
   

8. Şimdi Azure'a geri gidin ve Striim VM'nizin Genel IP adresini kopyalayın.

   

9. Striim'in Web kullanıcı arabirimine gitmek için tarayıcıda yeni bir sekme açın ve genel IP adresini kopyalayın ve ardından: 9080. Oturum açma için yönetici kullanıcı adını ve oturum açma sayfasında belirttiğiniz yönetici parolasını Azure portal.

   

10. Şimdi Striim'in giriş sayfasına ulaşabilirsiniz. Üç farklı bölme vardır: Panolar, Uygulamalar ve SourcePreview. Panolar bölmesi, verileri gerçek zamanlı olarak taşıma ve görselleştirmenize olanak sağlar. Uygulamalar bölmesi akış veri işlem hatlarınızı veya veri akışlarınızı içerir. Sayfanın sağında, verilerinizi taşımadan önce önizlemenizi görüntüleyebilirsiniz SourcePreview yer atıdır.

11. Uygulamalar bölmesini seçin; şimdilik bu bölmeye odaklanın. Striim hakkında bilgi edinmek için kullanabileceğiniz çeşitli örnek uygulamalar vardır, ancak bu makalede kendi uygulamamızı oluşturabilirsiniz. Sağ üst köşedeki Uygulama Ekle düğmesini seçin.

    

12. Striim uygulamaları oluşturmanın birkaç farklı yolu vardır. Mevcut bir şablonla başlamak için Şablonla Başlat'ı seçin.

    

13. şablonları ara alanında "Cosmos" yazın ve hedef: Azure Cosmos DB ' i seçin ve ardından Oracle CDC Azure Cosmos DB' yı seçin.

    

14. Sonraki sayfada, uygulamanızı adlandırın. Oratocosmosdb gibi bir ad sağlayabilir ve ardından Kaydet' i seçebilirsiniz.

15. Ardından, kaynak Oracle örneğinizin kaynak yapılandırmasını girin. Kaynak adı için bir değer girin. Kaynak adı, gitim uygulaması için yalnızca bir adlandırma kuralıdır, src_onPremOracle gibi bir ad kullanabilirsiniz. Geri kalan kaynak parametreleri URL 'si, Kullanıcı adı, parola değerlerini girin, Oracle 'Dan verileri okumak için okuyucu olarak LogMiner ' ı seçin. Devam etmek için İleri seçeneğini belirleyin.

    

16. Anlık ileti, ortamınızı denetlecektir ve kaynak Oracle örneğinizle bağlantı kurmak için doğru ayrıcalıklara sahip olduğundan ve CDC 'nin doğru şekilde yapılandırıldığından emin olmanızı sağlar. Tüm değerler doğrulandıktan sonra İleri' yi seçin.

    

17. Geçirmek istediğiniz Oracle veritabanından tabloları seçin. Örneğin, Orders tablosunu seçip İleri' yi seçelim.

    

18. Kaynak tabloyu seçtikten sonra eşleme ve filtreleme gibi daha karmaşık işlemler gerçekleştirebilirsiniz. bu durumda, yalnızca Azure Cosmos DB kaynak tablonuzun bir çoğaltmasını oluşturacaksınız. Bu nedenle, hedefi yapılandırmak için İleri ' yi seçin

19. Şimdi hedefi yapılandıralim:

    • Hedef adı -hedef için bir kolay ad sağlayın.
    • Giriş kaynağı -açılan listeden, kaynak Oracle yapılandırmasında oluşturduğunuz bir giriş akışını seçin.
    • koleksiyonlar-hedef Azure Cosmos DB yapılandırma özelliklerini girin. Koleksiyonlar sözdizimi, sourceschema. SourceTable, TargetDatabase. TargetContainer ' dir. Bu örnekte, değer "SISTEM" olur. SIPARIŞLER, Ilginç tanıtım. Orders ".
    • accesskey -Azure Cosmos hesabınızın PrimaryKey 'i.
    • ServiceEndpoint : Azure Cosmos hesabınızın urı 'si, Azure portal anahtarlar bölümü altında bulunabilir.

    Kaydet ve İleri ' yi seçin.

    

20. Daha sonra akış tasarlayıcısından geleceksiniz ve akış uygulamalarınızı oluşturmak için kutu bağlayıcılarını sürükleyip bırakabilirsiniz. Akışta bu noktada herhangi bir değişiklik yapamazsınız. Bu nedenle uygulamayı Dağıt düğmesini seçerek uygulamayı dağıtın.

    

21. Dağıtım penceresinde, uygulamanızın belirli kısımlarını dağıtım topolojinizin belirli bölümlerinde çalıştırmak istediğinizi belirtebilirsiniz. Azure aracılığıyla basit bir dağıtım topolojisinde çalıştığımız için varsayılan seçeneği kullanacağız.

    

22. Dağıttıktan sonra, veri akışını görmek için akışın önizlemesini görüntüleyebilirsiniz. Yanındaki dalga simgesini ve eyebol simgesini seçin. Üstteki menü çubuğunda dağıtılan düğmesini seçin ve Uygulamayı Başlat' ı seçin.

    

23. CDC (değişiklik verilerini yakalama) okuyucusunu kullanarak, anlık ileti, veritabanında yalnızca yeni değişiklikler seçer. Kaynak Tablolarınızda veri akışı varsa, bunu görürsünüz. Ancak, bu bir demo tablosu olduğundan, kaynak herhangi bir uygulamaya bağlı değildir. Örnek veri Oluşturucu kullanıyorsanız, Oracle veritabanınıza bir olay zinciri ekleyebilirsiniz.

24. Çarpıcı anlık ileti platformunda veri akışını görürsünüz. Anlık ileti, tablonuz ile ilişkili tüm meta verileri de alır ve bu da verileri izlemek ve verilerin doğru hedefte olmasını sağlamak için yararlıdır.

    

25. son olarak azure 'da oturum açalım ve azure Cosmos hesabınıza gitmeniz gerekir. Veri Gezgini yenileyin ve verilerin geldiğini görebilirsiniz.

    

Azure 'da çabam çözümünü kullanarak verileri, Oracle, cassandra, mongodb gibi çeşitli kaynaklardan sürekli olarak Azure Cosmos DB Azure Cosmos DB ve çeşitli diğer kaynaklardan sürekli olarak geçirebilirsiniz. Daha fazla bilgi edinmek için lütfen bir anlık ileti Web sitesiniziyaret edin, ücretsiz bir 30 günlük deneme sürümü indirinve geçiş yolunu sorunsuz bir şekilde ayarlarken bir destek isteği yapın.

Sonraki adımlar

• Azure Cosmos DB bir geçişe yönelik kapasite planlaması yapılmaya çalışılıyor musunuz?

  • Varsa, var olan veritabanı kümenizdeki sanal çekirdek ve sunucu sayısı varsa, sanal çekirdekler veya vCPU 'lar kullanarak istek birimlerini tahmin etme hakkında bilgi edinin
  • geçerli veritabanı iş yükünüz için tipik istek hızlarını biliyorsanız, Azure Cosmos DB kapasite planlayıcısı kullanarak istek birimlerini tahmin etme hakkında bilgi edinin

• Azure Cosmos DB SQL apı 'sine veri geçiriyorsanız, bkz. anlık ileti kullanarak verileri Cassandra API hesabına geçirme

• Azure Cosmos DB ölçümleriyle verilerinizi izleyin ve hatalarını ayıklayın