çarpıcı anlık ileti kullanarak verileri Azure Cosmos DB Cassandra API hesabına geçirme

Uygulama hedefı: Cassandra API

Azure Marketi 'ndeki çarpıcı anlık ileti resmi, veri ambarlarından ve veritabanlarından Azure 'a sürekli gerçek zamanlı veri hareketi sunar. Verileri taşırken, satır içi normalleştirmeyi, veri dönüştürmeyi ve gerçek zamanlı analizleri ve veri raporlama senaryolarını sağlayabilirsiniz. kurumsal verileri sürekli olarak Azure Cosmos DB Cassandra API taşımaya kadar hızlı bir şekilde çalışmaya başlamak kolaydır. Azure, hızlı anlık ileti dağıtmayı ve verilerin Azure Cosmos DB geçişini kolaylaştıran bir market teklifi sunar.

bu makalede, bir Oracle veritabanından Azure Cosmos DB Cassandra API hesabına veri geçirmek için nasıl çaba ım kullanılacağı gösterilmektedir.

Önkoşullar

• Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

• Şirket içinde, içindeki bazı verilerle çalışan bir Oracle veritabanı.

Çarpıcı anlık ileti marketi çözümünü dağıtma

1. Azure portal oturum açın.

2. Kaynak oluştur ' u seçin ve Azure Marketi 'nde anlık ileti araması yapın. İlk seçeneği seçin ve oluşturun.

   

3. Sonra, çaba anlık ileti örneğinin yapılandırma özelliklerini girin. Çalışır durumda anlık ileti ortamı bir sanal makinede dağıtılır. Temel bilgiler bölmesinden VM Kullanıcı adı' nı, VM PAROLASıNı gırın (Bu parola VM 'ye SSH için kullanılır). E-mesajlaşma dağıtmak istediğiniz abonelik, kaynak grubu ve konum ayrıntılarınızı seçin. Tamamlandıktan sonra Tamam' ı seçin.

   

4. Anlık Ileti kümesi ayarları bölmesinde, çaba anlık ileti dağıtımı türünü ve sanal makine boyutunu seçin.

   Ayar	Değer	Açıklama
   Anlık ileti dağıtım türü	Tek Başına	Anlık ileti, tek başına veya küme dağıtım türlerinde çalıştırılabilir. Tek başına modu, tek bir sanal makineye çok anlık ileti sunucusu dağıtır ve veri biriminize bağlı olarak VM 'lerin boyutunu seçebilirsiniz. Küme modu, her iki veya daha fazla VM üzerinde, bir veya daha fazla sanal makine için, seçilen boyuta sahip 2 ' den fazla düğümü olan küme ortamları otomatik yüksek kullanılabilirlik ve yük devretme sağlar. Bu öğreticide tek başına seçeneğini belirleyebilirsiniz. Varsayılan "Standard_F4s" boyut VM 'sini kullanın.
   Çarpıcı anlık ileti kümesinin adı	<Striim_cluster_Name>	Çarpıcı anlık ileti kümesinin adı.
   Anlık ileti kümesi parolası	<Striim_cluster_password>	Küme için parola.

   Formu doldurduktan sonra devam etmek için Tamam ' ı seçin.

5. Anlık ileti erişimi ayarları bölmesinde, genel IP adresini (varsayılan değerleri seçin), her şeye yönelik etki alanı adını, çarpıcı ım Kullanıcı arabiriminde oturum açmak için kullanmak istediğiniz yönetici parolasını yapılandırın. VNET ve alt ağ yapılandırın (varsayılan değerleri seçin). Ayrıntıları doldurduktan sonra devam etmek için Tamam ' ı seçin.

   

6. Azure dağıtımı doğrular ve her şeyin iyi göründüğünden emin olur; doğrulamanın tamamlanmasının birkaç dakika sürer. Doğrulama tamamlandıktan sonra Tamam' ı seçin.

7. Son olarak kullanım koşullarını gözden geçirin ve Oluştur ' u seçerek çarpıcı anlık ileti örneğinizi oluşturun.

Kaynak veritabanını yapılandırma

Bu bölümde, Oracle veritabanını veri taşıma kaynağı olarak yapılandırırsınız. Oracle 'a bağlanmak için Oracle JDBC sürücüsüne ihtiyacınız olacak. Kaynak Oracle veritabanınızdan değişiklikleri okumak için LogMiner ya da XStream API 'lerinikullanabilirsiniz. Oracle veritabanı 'ndaki verileri okumak, yazmak veya sürdürmek için, bir mini ım 'in Java sınıfsıya 'da Oracle JDBC sürücüsü bulunmalıdır.

Ojdbc8. jar sürücüsünü yerel makinenize indirin. Bunu daha sonra çaba anlık ileti kümesine yükleyeceksiniz.

Hedef veritabanını Yapılandır

bu bölümde, Azure Cosmos DB Cassandra API hesabını veri taşıma hedefi olarak yapılandıracaksınız.

1. Azure portal kullanarak bir Azure Cosmos DB Cassandra API hesabı oluşturun.

2. Azure Cosmos hesabınızda Veri Gezgini bölmesine gidin. Yeni bir kapsayıcı oluşturmak için Yeni tablo ' yı seçin. Oracle veritabanından Azure Cosmos DB ' ye ürün ve sipariş verileri geçirmekte olduğunuz varsayılmaktadır. Siparişler kapsayıcısı ile Traimdemo adlı yeni bir anahtar alanı oluşturun. Kapsayıcıyı 1000 ru ile sağlayın (bu örnek 1000 ru kullanır, ancak iş yükünüz için tahmin edilen aktarım hızını kullanmanız gerekir) ve /Order_Id birincil anahtar olarak kullanılır. Bu değerler, kaynak verilerinize göre farklılık gösterir.

   

Oracle 'ı veri akışı Azure Cosmos DB için yapılandırma

1. Şimdi anlık ileti almaya geri bakalım. Bir anlık ileti ile etkileşime geçmeden önce, daha önce indirdiğiniz Oracle JDBC sürücüsünü yükleyebilirsiniz.

2. Azure portal dağıttığınız çarpıcı anlık ileti örneğine gidin. üstteki menü çubuğunda Bağlan düğmesini seçin ve SSH sekmesinden VM yerel hesabı alanını kullanarak oturum açma içindeki URL 'yi kopyalayın.

   

3. Yeni bir Terminal penceresi açın ve Azure portal kopyaladığınız SSH komutunu çalıştırın. bu makale bir macos 'ta terminal kullanır, bir Windows makinesinde putty veya farklı bir SSH istemcisi kullanarak benzer yönergeleri izleyebilirsiniz. İstendiğinde, devam etmek için Evet yazın ve önceki adımda sanal makine için ayarladığınız parolayı girin.

   

4. Şimdi, daha önce indirdiğiniz ojdbc8. jar dosyasını kopyalamak için yeni bir Terminal sekmesi açın. Aşağıdaki SCP komutunu kullanarak jar dosyasını yerel makinenizden Azure 'da çalışan Çabaım örneğinin tmp klasörüne kopyalayın:

   cd <Directory_path_where_the_Jar_file_exists> 
   scp ojdbc8.jar striimdemo@striimdemo.westus.cloudapp.azure.com:/tmp
   

   

5. Daha sonra, çarpıcı anlık ileti örneği için SSH yaptığınız ve sudo olarak oturum açmanın bulunduğu pencereye geri gidin. Ojdbc8. jar dosyasını /tmp dizininden, aşağıdaki komutları kullanarak, diğer anlık ileti örneğinizin lib dizinine taşıyın:

   sudo su
   cd /tmp
   mv ojdbc8.jar /opt/striim/lib
   chmod +x ojdbc8.jar
   

   

6. Aynı Terminal penceresinde, aşağıdaki komutları yürüterek Çabaım sunucusunu yeniden başlatın:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

7. Kısa ım 'in başlaması bir dakika sürer. Durumu görmek isterseniz, aşağıdaki komutu çalıştırın:

   tail -f /opt/striim/logs/striim-node.log
   

8. Şimdi Azure 'a geri gidin ve çarpıcı ım VM 'nizin genel IP adresini kopyalayın.

   

9. E-postayla Web Kullanıcı arabirimine gitmek için, bir tarayıcıda yeni bir sekme açın ve ardından genel IP 'yi kopyalayın: 9080. Yönetici Kullanıcı adını kullanarak, Azure Portal belirttiğiniz yönetici parolasıyla birlikte oturum açın.

   

10. Şimdi bir ım ana sayfasına ulaşacağız. Panolar, uygulamalar ve sourcepreview olmak üzere üç farklı bölme vardır. Panolar bölmesi, verileri gerçek zamanlı olarak taşımanızı ve görselleştirmenizi sağlar. Uygulamalar bölmesi, akış verileri işlem hatlarınızı veya veri akışlarını içerir. Sayfanın sağ tarafında, verilerinizi taşımadan önce önizlemeniz için SourcePreview bulunur.

11. Uygulamalar bölmesini seçin, şimdilik bu bölmeye odaklanacağız. Anlık ileti alma hakkında bilgi edinmek için kullanabileceğiniz çeşitli örnek uygulamalar vardır, ancak bu makalede kendinizuzu oluşturacaksınız. Sağ üst köşedeki Uygulama Ekle düğmesini seçin.

    

12. Çarpıcı anlık ileti uygulamaları oluşturmanın birkaç farklı yolu vardır. Bu senaryo için sıfırdan başla ' yı seçin.

    

13. Uygulamanıza oraToCosmosDB gibi kolay bir ad girin ve Kaydet'i seçin.

    

14. Flow Designer'a varacak ve akış uygulamalarınızı oluşturmak için kutudan sürükleyip bırakabilirsiniz. Arama çubuğuna Oracle yazın, Oracle CDC kaynağını sürükleyip uygulama tuvaline bırakın.

    

15. Oracle örneğinizin kaynak yapılandırma özelliklerini girin. Kaynak adı yalnızca Striim uygulaması için bir adlandırma kuralıdır; örneğin, src_onPremOracle. Ayrıca Bağdaştırıcı türü, bağlantı URL'si, kullanıcı adı, parola, tablo adı gibi diğer ayrıntıları da girin. Devam etmek için Kaydet'i seçin.

    

16. Şimdi, hedef Azure veritabanı örneğini bağlamak için akışın dalga simgesine Cosmos tıklayın.

    

17. Hedefi yapılandırmadan önce, Striim'in Java ortamına Baltimorekök sertifikası ekleyenin emin olun.

18. Hedef Azure Cosmos DB örneğinizin yapılandırma özelliklerini girin ve devam etmek için Kaydet'i seçin. Dikkat etmek gereken önemli parametreler şu şekildedir:

    • Bağdaştırıcı - DatabaseWriter kullanın. Azure Cosmos DB veritabanına Cassandra API DatabaseWriter gereklidir. Cassandra sürücüsü 3.6.0, Striim ile birlikte paketlenmiştir. DatabaseWriter, Azure Cosmos kapsayıcınıza sağlanan RU sayısını aşarsa uygulama kilitlenmeye devam ediyor.

    • Bağlantı URL'si - Azure veritabanı Cosmos DB JDBC bağlantı URL'nizi belirtin. URL biçimindedir jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Kullanıcı adı - Azure Cosmos adını belirtin.

    • Parola - Azure hesap hesabınız için birincil Cosmos belirtin.

    • Tablolar - Hedef tabloların birincil anahtarları olması gerekir ve birincil anahtarlar güncelleştirilemez.

    

    

19. Şimdi devam edin ve Striim uygulamasını çalıştıracağız. Üst menü çubuğunda Oluşturuldu'ya ve ardından Uygulamayı Dağıt'a tıklayın. Dağıtım penceresinde, uygulamanın belirli bölümlerini dağıtım topolojinizin belirli kısımlarında çalıştırmak mı istediğiniz belirtebilirsiniz. Azure aracılığıyla basit bir dağıtım topolojisinde çalıştırılayalır, varsayılan seçeneği kullan kullanıruz.

    

20. Şimdi Striim aracılığıyla akan verileri görmek için akışın önizlemesini göreceğiz. Dalga simgesine ve yanındaki göz simgesine tıklayın. Dağıtımdan sonra, akışın önizlemesini görüntüerek veri akışını görebilirsiniz. Dalga simgesini ve yanındaki göz simgesini seçin. Üst menü çubuğunda Dağıtılan düğmesini ve ardından Uygulamayı Başlat'ı seçin.

    

21. Striim, CDC (Değişiklik Verileri Yakalama) okuyucusu kullanarak veritabanında yalnızca yeni değişiklikleri alır. Kaynak tablolarınız aracılığıyla akan veriniz varsa, bunu görüyorsunuz. Ancak, bu bir örnek tablo olduğundan, herhangi bir uygulamaya bağlı olmayan kaynaktır. Örnek bir veri oluşturucu kullanıyorsanız Oracle veritabanınıza bir olay zinciri eklersiniz.

22. Striim platformu üzerinden veri akışı olduğunu görüyorsunuz. Striim, tablonuzla ilişkili tüm meta verileri de alır. Bu, verileri izlemek ve verilerin doğru hedefe ulaşa olduğundan emin olmak için yararlıdır.

    

23. Son olarak, Azure'da oturum açın ve Azure Cosmos gidin. Verileri Veri Gezgini veri geldiğini görebilir.

Azure'daki Striim çözümünü kullanarak Oracle, Cassandra, MongoDB ve diğer çeşitli kaynaklardan Azure Cosmos DB'ye sürekli olarak veri Cosmos DB'ye geçirebilirsiniz. Daha fazla bilgi edinmek için lütfen Striimweb sitesini ziyaret edin, ücretsiz 30 günlük Striimdenemesi indirin ve Striim ile geçiş yolunu ayarlarken karşılaşılan sorunlar için bir destek isteği kaydedin.

Sonraki adımlar

• Verileri Azure Cosmos DB SQL API'ye Cassandra API bkz. Striim kullanarak verileri Cassandra API hesabına geçirme

• Azure veritabanı ölçümleriyle verilerinizi izleme ve Cosmos ayıklama