Azure 'da analitik veri deposu seçme

Büyük veri mimarisinde genellikle, işlenen verileri analitik araçlar kullanılarak sorgulanabilecek yapılandırılmış bir biçimde sunan analitik veri deposu için bir gereksinim vardır. Hem etkin yol hem de soğuk yol verilerinin sorgulanmasını destekleyen analitik veri depoları, hizmet veren katman veya depolama hizmeti olarak adlandırılır.

Hizmet sunma katmanı, hem sıcak yol hem de soğuk yolundan işlenen verilerle ilgilidir. Lambda mimarisinde, sunma katmanı, artımlı olarak işlenen verileri depolayan ve toplu işleme yapılan çıktıyı içeren bir toplu iş katmanı olan bir hız sunma katmanına bölünmüştür. Hizmet sunma katmanı, düşük gecikme süresine sahip rastgele okumalar için güçlü destek gerektirir. Bu depoya toplu yükleme verileri istenmeyen gecikmeler oluşturabileceğinden, hız katmanının veri depolaması da rastgele yazmaları desteklemelidir. Öte yandan, toplu iş katmanının veri depolama alanının rastgele yazmaları desteklemesi gerekmez, ancak bunun yerine toplu yazma işlemleri desteklenmez.

Tüm veri depolama görevleri için tek bir en iyi veri yönetimi seçeneği yoktur. Farklı veri yönetimi çözümleri farklı görevler için iyileştirilmiştir. Çoğu gerçek dünyada bulut uygulaması ve büyük veri süreçlerinin çeşitli veri depolama gereksinimleri vardır ve genellikle veri depolama çözümlerinin bir birleşimini kullanır.

Analitik veri deposu seçerken seçenekleriniz nelerdir?

Gereksinimlerinize bağlı olarak, Azure 'da depolamaya hizmet veren veriler için birkaç seçenek vardır:

• Azure Synapse Analytics
• Azure SYNAPSE Spark havuzları
• Azure Databricks
• Azure Veri Gezgini
• Azure SQL Veritabanı
• Azure VM'de SQL Server
• HDInsight üzerinde HBase/Phoenix
• HDInsight üzerinde Hive LLAP
• Azure Analysis Services
• Azure Cosmos DB

Bu seçenekler, farklı görev türleri için iyileştirilmiş çeşitli veritabanı modelleri sağlar:

• Anahtar/değer veritabanları her anahtar değeri için tek bir seri hale getirilmiş nesneyi tutar. Belirli bir anahtar değeri için bir öğe almak istediğiniz büyük hacimde verilerin depolanması ve öğenin diğer özelliklerine göre sorgu yapmanız gerekmez.
• Belge veritabanları, değerleri Belgelerolan anahtar/değer veritabanlarıdır. Bu bağlamdaki bir "belge" adlandırılmış alanlar ve değerler koleksiyonudur. Veritabanı, verileri genellikle XML, YAML, JSON veya BSON gibi bir biçimde depolar, ancak düz metin kullanabilir. Belge veritabanları, anahtar olmayan alanları sorgulayabilir ve sorgu kullanımını daha verimli hale getirmek için ikincil dizinler tanımlayabilir. Bu, bir belge veritabanını, ölçütlere göre verileri alması gereken uygulamalar için belge anahtarı değerinden daha karmaşık hale getirir. Örneğin, ürün KIMLIĞI, müşteri KIMLIĞI veya müşteri adı gibi alanlarda sorgulama yapabilirsiniz.
• Sütun ailesi veritabanları, veri depolamayı, sütun aileleri adlı ilgili sütunların koleksiyonlarına bağlayan anahtar/değer veri depolarıdır. Örneğin, bir görselleştirmenizdeki veritabanı, bir kişinin adı (ilk, orta, son), kişi adresi için bir grup ve kişinin profil bilgileri için bir grup (Doğum verileri, cinsiyet) için bir sütun grubuna sahip olabilir. Veritabanı her bir sütun ailesini ayrı bir bölümde saklayabilir, bu arada aynı anahtarla ilgili tüm verileri tek bir kişiye teslim edebilirsiniz. Bir uygulama bir varlık için tüm verileri okumadan tek bir sütun ailesini okuyabilir.
• Graph veritabanları, bir nesne ve ilişki koleksiyonu olarak bilgi depolar. Grafik veritabanı, nesne ağı ve aralarındaki ilişkiler ile çapraz geçiş yapan sorguları verimli bir şekilde gerçekleştirebilir. Örneğin, nesneler insan kaynakları veritabanında çalışanlar olabilir ve "Scott için doğrudan veya dolaylı olarak çalışan tüm çalışanları bul" gibi sorguları kolaylaştırmak isteyebilirsiniz.
• Telemetri ve zaman serisi veritabanları, nesnelerin yalnızca append bir koleksiyonudur. Telemetri veritabanları çeşitli sütun depolarında ve bellek içi yapılarda verileri verimli bir şekilde dizinledikten sonra, çok sayıda telemetri ve zaman serisi verilerinin depolanması ve çözümlenmesi için en uygun seçimi yapar.

Anahtar seçim ölçütleri

Seçimleri daraltmak için, bu soruları yanıtlayarak başlayın:

• Verilerinize yönelik bir etkin yol olarak hizmet verebileceği depolamaya ihtiyaç duyuyor musunuz? Yanıtınız evet ise, seçeneklerinizi bir hız sunma için optimize edilmiş olanlarla daraltın.

• Sorguların çeşitli işlemlere veya düğümlere otomatik olarak dağıtıldığı, yüksek düzeyde paralel işleme (MPP) desteğinin olması gerekiyor mu? Yanıt Evet ise, sorgu ölçeğini genişletme 'yi destekleyen bir seçenek belirleyin.

• İlişkisel bir veri deposu kullanmayı tercih ediyor musunuz? Bu durumda, seçeneklerinizi ilişkisel bir veritabanı modeliyle bir şekilde daraltın. ancak, bazı ilişkisel olmayan depoların sorgulamak için SQL sözdizimini desteklediğini ve polybase gibi araçların ilişkisel olmayan veri depolarını sorgulamak için kullanılabileceğini unutmayın.

• Zaman serisi verilerini toplıyor musunuz? Yalnızca Append verileri mi kullanıyorsunuz?

Yetenek matrisi

Aşağıdaki tablolar, özelliklerde önemli farklılıkları özetler.

Genel yetenekler

[1] el ile yapılandırma ve ölçeklendirme.

[2] bellek için iyileştirilmiş tabloları ve karma veya kümelenmemiş dizinleri kullanma.

[3] Azure Stream Analytics çıktısı olarak destekleniyor.

Ölçeklenebilirlik özellikleri

Güvenlik özellikleri

[1] Etki alanına katılmış HDInsight kümesi kullanmayı gerektirir.

[2] Beklemede verilerinizi şifrelemek ve şifresini çözmek için saydam veri şifrelemesi (TDE) kullanmayı gerektirir.

[3] Yalnızca filtre önkasyonları. Bkz. Satır Düzeyi Güvenlik

[4] Bir Azure Sanal Ağı içinde kullanılır. Bkz. Azure Azure HDInsight kullanarak ağ genişletme.