Azure SYNAPSE Veri Gezgini nedir? (Önizleme)
Azure SYNAPSE Veri Gezgini, günlük ve telemetri verilerinden öngörüleri açmak için müşterilere etkileşimli bir sorgu deneyimi sağlar. mevcut SQL ve Apache Spark analytics çalışma zamanı altyapılarını tamamlamak için, Veri Gezgini analytics çalışma zamanı, güçlü dizin oluşturma teknolojisi kullanılarak, telemetri verilerinde yaygın olarak bulunan serbest metinli ve yarı yapılandırılmış verilerin otomatik olarak dizinini oluşturmak için en iyi duruma getirilmiştir.
Azure SYNAPSE Veri Gezgini benzersiz hale gelir?
Kolay alma-veri Gezgini kod içermeyen ve düşük kod, yüksek aktarım hızı veri alımı ve gerçek zamanlı kaynaklardan önbelleğe alma için yerleşik tümleştirmeler sunmaktadır. veriler, olay Hub 'ı, Kafka, Azure Data Lake, akıcı entd/Fluent Bit gibi açık kaynak aracılar ve çok çeşitli bulut ve şirket içi veri kaynakları gibi kaynaklardan alınabilir.
Karmaşık veri modelleme olmadan -Veri Gezgini, karmaşık veri modelleri oluşturmaya gerek yoktur ve verileri tüketilmeden önce dönüştürmek için karmaşık betik gerekmez.
Dizin Bakımı yok -verileri sorgu performansına göre iyileştirmek ve Dizin Bakımı gereksinimi olmadan bakım görevlerinin olması gerekmez. Veri Gezgini, tüm ham veriler hemen kullanılabilir ve akış ve kalıcı verileriniz üzerinde yüksek performanslı ve yüksek eşzamanlılık sorguları çalıştırmanıza olanak sağlar. Bu sorguları, neredeyse gerçek zamanlı panolar ve uyarılar oluşturmak ve işletimsel analiz verilerini geri kalan veri analizi platformuyla bağlamak için kullanabilirsiniz.
Democratizing veri analizi -Veri Gezgini verilerinizi keşfetmenizi sunan self servis, büyük veri analizlerini, Excel basitliği ile SQL ifade ve gücünü sağlayan sezgisel Kusto sorgu dili (kql) ile birlikte. KQL, verimli ücretsiz metin ve Regex araması için Veri Gezgini sınıfının en iyisi metin dizin oluşturma teknolojisini ve diziler ile iç içe yapılar dahil olmak üzere, traces\text verilerini ve JSON yarı yapılandırılmış verilerini sorgulamak için kapsamlı ayrıştırma özellikleri sunarak ham telemetri ve zaman serisi verilerinin araştırılmasında çok iyileştirilir. KQL, model Puanlama için altyapı Python yürütme desteğiyle birden çok zaman serisini oluşturmak, işlemek ve analiz etmek için gelişmiş zaman serisi desteği sunar.
Petablarca ölçeğinde kanıtlanmış teknoloji -Veri Gezgini, bağımsız olarak ölçeklenebilen, gigabayt veya petabaytlarca veri üzerinde analizler sağlayan işlem ve depolama özellikli dağıtılmış bir sistemdir.
tümleşik -Azure Synapse Analytics, veri mühendislerini, veri bilimcileri ve veri analistlerini kolayca ve veri gölü veri gölü aynı verilere güvenli, erişim ve işbirliği yapmak için, Veri Gezgini, Apache Spark ve SQL motorları arasındaki veriler arasında birlikte çalışabilirlik olanağı sağlar.
Azure SYNAPSE Veri Gezgini ne zaman kullanılır?
Neredeyse gerçek zamanlı Log Analytics ve IoT Analytics çözümlerini oluşturmak için bir veri platformu olarak Veri Gezgini kullanın:
Günlüklerinizi ve olay verilerinizi şirket içi, bulut ve üçüncü taraf veri kaynakları arasında birleştirin ve ilişkilendirin.
AI Ops yolculuğu (model tanıma, anomali algılama, tahmin ve daha fazlasını) hızlandırın.
Altyapı tabanlı günlük arama çözümlerini değiştirip maliyet tasarrufu yapın ve üretkenliği artırın.
IoT verileriniz için IoT Analytics çözümleri oluşturun.
Dahili ve harici müşterilerinize hizmet sunmak için analitik SaaS çözümleri oluşturun.
Veri Gezgini havuzu mimarisi
Veri Gezgini havuzları, işlem ve depolama kaynaklarını ayırarak bir ölçek genişletme mimarisi uygular. Bu, her bir kaynağı bağımsız olarak ölçeklemenize olanak sağlar ve örneğin, aynı verilerde birden çok salt okuma ile yapılan hesaplar çalıştırmanızı sağlar. Veri Gezgini havuzları, otomatik olarak dizin oluşturma, sıkıştırma, önbelleğe alma ve dağıtılmış sorguları sunma konusunda sorumlu olan altyapıyı çalıştıran bir hesaplar kümesinden oluşur. Ayrıca, arka plan sistem işlerinde sorumlu olan veri yönetimi hizmetini çalıştıran ikinci bir hesaplar kümesi de vardır ve yönetilen ve kuyruğa alınmış veri alımı de vardır. Tüm veriler, sıkıştırılmış bir sütunlu biçim kullanılarak yönetilen BLOB depolama hesaplarında kalıcı hale getirilir.
Veri Gezgini havuzları bağlayıcıları, SDK 'ları, REST API 'Leri ve diğer yönetilen özellikleri kullanarak verileri almak için zengin bir ekosistemi destekler. Geçici sorgular, raporlar, panolar, uyarılar, REST API 'Ler ve SDK 'Lar için veri tüketmenin çeşitli yollarını sunar.
Verileri Azure 'da günlük ve zaman serisi analizi için en iyi analitik altyapıyı keşfetmenizi sağlayan birçok benzersiz özellik vardır. Veri Gezgini nasıl çalıştığı hakkında daha fazla bilgi edinmek istiyorsanız bkz. Azure Veri Gezgini teknik incelemesi.
Aşağıdaki bölümlerde, anahtar farklıları vurgulanacak.
Ücretsiz metin ve yarı yapılandırılmış veri dizin oluşturma, neredeyse gerçek zamanlı yüksek performans ve yüksek eşzamanlı sorgular sunar
Veri Gezgini, bu tür veriler üzerinde çalışan sorguları çok performanslı hale getiren, yarı yapılandırılmış verileri (JSON) ve yapılandırılmamış verileri (ücretsiz metin) dizinler. Varsayılan olarak, her alan veri alımı sırasında, belirli alanlar için dizini ince ayar yapmak veya devre dışı bırakmak üzere alt düzey bir kodlama ilkesi kullanma seçeneğiyle dizinlenir. Dizinin kapsamı tek bir veri parçadır.
Dizinin uygulanması alanın türüne göre aşağıdaki gibi değişir:
| Alan türü | Uygulama dizini oluşturma |
|---|---|
| Dize | Motor, dize sütun değerleri için ters bir terim dizini oluşturur. Her dize değeri çözümlenirler ve normalleştirilmiş koşullara bölünür ve kayıt sıra sayısını içeren sıralı mantıksal konumların sıralı bir listesi, her dönem için kaydedilir. Sonuç olarak sıralanmış terim listesi ve bunlarla ilişkili pozisyonlar, sabit bir B-ağacı olarak depolanır. |
| Sayısal Tarih \ IME TimeSpan |
Motor basit bir Aralık tabanlı ileri dizin oluşturur. Dizin, her bloğun en düşük/en yüksek değerlerini, bir bloklar grubu ve veri parçadaki tüm sütun için kaydeder. |
| Dinamik | Alma işlemi, özellik adları, değerler ve dizi öğeleri gibi dinamik değer içindeki tüm "atomik" öğeleri numaralandırır ve bunları dizin oluşturucuya iletir. Dinamik alanlar, dize alanlarıyla aynı ters terim dizinine sahiptir. |
Bu verimli dizin oluşturma özellikleri, verilerin yüksek performanslı ve yüksek eşzamanlılık sorguları için neredeyse gerçek zamanlı olarak kullanılabilmesini sağlamak için veri araştırmalarını sağlar. Sistem, performansı artırmak için veri parçalarını otomatik olarak iyileştirir.
Kusto Sorgu Dili
kql, azure izleyici Log Analytics ve Application Insights, microsoft Sentinel, Azure Veri Gezgini ve diğer microsoft tekliflerinden hızlı benimseme ile büyük ve büyüyen bir topluluk içerir. Dil, kolay okunabilir bir sözdizimi ile tasarlanır ve basit bir Oluşturucu ile karmaşık veri işleme sorgularına sorunsuz bir geçiş sağlar. bu, Veri Gezgini zengin ıntellisense desteğinin yanı sıra toplamalar, zaman serisi ve telemetri verilerinin hızlı araştırması için SQL kullanılamayan kullanıcı analizlerine yönelik yerleşik bir özellik kümesi sağlar.