Azure Synapse Analytics'te ayrılmış SQL havuzu (eski adı SQL DW) mimarisi
Azure Synapse Analytics, kurumsal veri ambarı ve Büyük Veri analizini bir araya getiren bir analiz hizmetidir. Bu, koşullarınıza göre verileri sorgulama özgürlüğü sağlar.
Dekont
Azure Synapse Analytics hakkında daha fazla bilgi için Veri Taşıma Geliştirmelerini açıklayan bu videoyu izleyin.
Synapse SQL mimarisi bileşenleri
Ayrılmış SQL havuzu (eski adı SQL DW), verilerin hesaplamalı işlenmesini birden çok düğüme dağıtmak için bir genişleme mimarisinden yararlanıyor. Ölçek birimi, veri ambarı birimi olarak bilinen işlem gücünün soyutlamasıdır. İşlem depolamadan ayrıldığından, işlemi sisteminizde verilerden bağımsız olarak ölçeklendirebilirsiniz.
Ayrılmış SQL havuzu (eski adıYLA SQL DW), düğüm tabanlı bir mimari kullanır. Uygulamalar T-SQL komutlarını bir Denetim düğümüne bağlar ve yayımlar. Denetim düğümü, sorguları paralel işleme için en iyi duruma getirerek işlemlerini paralel olarak yapmak üzere İşlem düğümlerine geçiren dağıtılmış sorgu altyapısını barındırıyor.
İşlem düğümleri tüm kullanıcı verilerini Azure Depolama’da depolar ve paralel sorgular çalıştırır. Veri Taşıma Hizmeti (DMS), sorguları paralel olarak çalıştırmak ve doğru sonuçlar döndürmek için verileri düğümler arasında taşıyan, sistem düzeyindeki bir dahili hizmettir.
Ayrılmış depolama ve işlem ile ayrılmış bir SQL havuzu (eski adı SQL DW) kullanılırken şunları yapabilirsiniz:
- Depolama gereksinimlerinizden bağımsız olarak işlem gücünü bağımsız olarak boyutlandırın.
- Verileri taşımadan ayrılmış bir SQL havuzu içinde (eski adı SQL DW) işlem gücünü büyütün veya küçültün.
- Verileri olduğu gibi bırakıp işlem kapasitesini duraklatır, böylece yalnızca depolama için ödeme yaparsınız.
- Çalışma saatleri içinde işlem kapasitesini sürdürme.
Azure Depolama
Ayrılmış SQL havuzu SQL (eski adı SQL DW), kullanıcı verilerinizi güvende tutmak için Azure Depolama kullanır. Verileriniz Azure Depolama tarafından depolanıp yönetildiğinden, depolama tüketiminiz için ayrı bir ücret uygulanır. Veriler, sistemin performansını iyileştirmek için dağıtımlara ayrılır. Tabloyu tanımlarken verileri dağıtmak için hangi parçalama deseninin kullanılacağını seçebilirsiniz. Bu parçalama desenleri desteklenir:
- Karma
- Hepsini Birer Kez Deneme
- Çoğaltma
Denetim düğümü
Denetim düğümü mimarinin beynidir. Tüm uygulamalarla ve bağlantılarla etkileşim kuran ön uçtur. Dağıtılmış sorgu altyapısı, paralel sorguları iyileştirmek ve koordine etmek için Denetim düğümünde çalışır. Bir T-SQL sorgusu gönderdiğinizde, Denetim düğümü bunu her dağıtımda paralel olarak çalışan sorgulara dönüştürür.
İşlem düğümleri
İşlem düğümleri, hesaplama gücü sağlar. Dağıtımlar, işlem için İşlem düğümleriyle eşleniyor. Daha fazla işlem kaynağı için ödeme yaptığınız için dağıtımlar kullanılabilir İşlem düğümleriyle yeniden eşlenir. İşlem düğümlerinin sayısı 1 ile 60 arasında değişir ve Synapse SQL hizmet düzeyine göre belirlenir.
Her İşlem düğümü, sistem görünümlerinde görünen bir düğüm kimliğine sahiptir. sistem görünümlerinde adları sys.pdw_nodes ile başlayan node_id sütununu arayarak İşlem düğümü kimliğini görebilirsiniz. Bu sistem görünümlerinin listesi için bkz . Synapse SQL sistem görünümleri.
Veri Taşıma Hizmeti
Veri Taşıma Hizmeti (DMS), İşlem düğümleri arasında veri hareketini koordine eden veri taşıma teknolojisidir. Bazı sorgular, paralel sorguların doğru sonuçlar döndürmesini sağlamak için veri taşıma gerektirir. Veri taşıma gerektiğinde DMS, doğru verilerin doğru konuma ulaştığından emin olur.
Dağıtım
Dağıtım, dağıtılmış veriler üzerinde çalışan paralel sorgular için temel depolama ve işleme birimidir. Synapse SQL bir sorgu çalıştırdığında, iş paralel olarak çalışan 60 daha küçük sorguya bölünür.
60 küçük sorgunun her biri veri dağıtımlarından birinde çalışır. Her İşlem düğümü, 60 dağıtımın bir veya daha fazlasını yönetir. İşlem düğümü başına en fazla işlem kaynağına sahip ayrılmış SQL havuzunun (eski adı SQL DW) bir dağıtımı vardır. En düşük işlem kaynaklarına sahip ayrılmış SQL havuzu (eski adı SQL DW), tüm dağıtımları tek bir işlem düğümünde içerir.
Dekont
İş yüklerinize göre kullanılacak en iyi tablo dağıtım stratejisine ilişkin öneriler için bkz . Azure Synapse SQL Dağıtım Danışmanı.
Karma dağıtılmış tablolar
Karma dağıtılmış bir tablo, büyük tablolarsa birleştirmeler ve toplamalar için en yüksek sorgu performansını sunabilir.
Verileri karma dağıtılmış bir tabloya bölmek için, her satırı bir dağıtıma belirleyici bir şekilde atamak için bir karma işlevi kullanılır. Tablo tanımında sütunlardan biri dağıtım sütunu olarak atanır. Karma işlevi, her satırı bir dağıtıma atamak için dağıtım sütunundaki değerleri kullanır.
Aşağıdaki diyagramda tam (dağıtılmış olmayan tablo) karma dağıtılmış tablo olarak nasıl depolandığı gösterilmektedir.
- Her satır bir dağıtıma aittir.
- Belirlenimci karma algoritması her satırı tek bir dağıtıma atar.
- Dağıtım başına tablo satırı sayısı, tabloların farklı boyutlarıyla gösterildiği gibi değişir.
Bir dağıtım sütununun seçiminde performans açısından dikkat edilmesi gereken noktalar vardır. Örneğin, fark, veri dengesizliği ve sistemde çalışan sorgu türleri.
Hepsini bir kez deneme dağıtılmış tabloları
Hepsini bir kez deneme tablosu, yükleri hazırlama tablosu olarak kullanıldığında hızlı performans oluşturup sunan en basit tablodur.
Hepsini bir kez deneme dağıtılmış tablosu, verileri tabloda eşit olarak dağıtır ancak başka bir iyileştirme yapmaz. Önce rastgele bir dağıtım seçilir ve ardından satır arabellekleri sıralı olarak dağıtımlara atanır. Verileri hepsini bir kez deneme tablosuna yüklemek hızlı bir işlemdir ancak sorgu performansı genellikle karma dağıtılmış tablolar ile daha iyi olabilir. Hepsini bir kez deneme tablolarındaki birleştirmeler, verilerin yeniden karıştırılabilmesini gerektirir ve bu da ek zaman alır.
Çoğaltılmış Tablolar
Çoğaltılmış bir tablo, küçük tablolar için en hızlı sorgu performansını sağlar.
Çoğaltılan tablo, her işlem düğümünde tablonun tam kopyasını önbelleğe alır. Sonuç olarak, bir tablo çoğaltıldığında bir birleştirme veya toplama öncesinde işlem düğümleri arasında verileri aktarma gereksinimi ortadan kalkar. Çoğaltılmış tablolar, küçük tablolar ile en iyi şekilde kullanılır. Ek depolama gereklidir ve veri yazarken oluşan ek ek yük vardır ve bu da büyük tabloları pratik yapmaz.
Aşağıdaki diyagramda, her işlem düğümündeki ilk dağıtımda önbelleğe alınmış çoğaltılmış bir tablo gösterilmektedir.
Sonraki adımlar
Artık Azure Synapse hakkında biraz bilgi edindiğinize göre, hızlı bir şekilde ayrılmış bir SQL havuzu (eski adı SQL DW) oluşturmayı ve örnek verileri yüklemeyi öğrenin. Azure'da yeniyseniz yeni terimlerle karşılaşabileceğinizi için Azure sözlüğünü yararlı bulabilirsiniz. Veya bu diğer Azure Synapse Kaynaklarından bazılarını inceleyin.