Analitik veri işlemeyi keşfetme
Analitik veri işleme genellikle çok büyük hacimli geçmiş verileri veya iş ölçümlerini depolayan salt okunur (veya çoğunlukla salt okunur) sistemler kullanır. Analiz, verilerin belirli bir noktadaki anlık görüntüsünü veya bir dizi anlık görüntüyü temel alabilir.
Analiz işleme sisteminin belirli ayrıntıları çözümler arasında farklılık gösterebilir, ancak kurumsal ölçekli analiz için ortak bir mimari şöyle görünür:
- İşletimsel veriler ayıklanır, dönüştürülür ve analiz için bir veri gölüne yüklenir (ETL).
- Veriler, genellikle veri gölündeki dosyalar üzerinde tablo soyutlamaları olan Spark tabanlı bir data lakehouse veya tamamen ilişkisel SQL altyapısına sahip bir veri ambarı olan bir tablo şemasına yüklenir.
- Veri ambarı içindeki veriler toplanabilir ve çevrimiçi analitik işleme (OLAP) modeline veya küpe yüklenebilir. Olgu tablolarından toplanan sayısal değerler (ölçüler), boyut tablolarındaki boyutların kesişimleri için hesaplanır. Örneğin, satış geliri tarihe, müşteriye ve ürüne göre toplanabilir.
- Veri gölü, veri ambarı ve analiz modelindeki veriler, raporlar, görselleştirmeler ve panolar oluşturmak için sorgulanabilir.
Veri gölleri , büyük hacimli dosya tabanlı verilerin toplanması ve analiz edilmesi gereken büyük ölçekli veri analizi işleme senaryolarında yaygındır.
Veri ambarları , verileri okuma işlemleri için en iyi duruma getirilmiş ilişkisel bir şemada (öncelikli olarak raporlama ve veri görselleştirmeyi desteklemeye yönelik sorgular) depolamanın yerleşik bir yoludur. Data Lakehouses , bir veri gölünün esnek ve ölçeklenebilir depolamasını bir veri ambarının ilişkisel sorgulama semantiğiyle birleştiren daha yeni bir yeniliktir. Tablo şeması, OLTP veri kaynağındaki verilerin normal dışı olmasını gerektirebilir (sorguların daha hızlı performans göstermesini sağlamak için bazı yinelemeler yapılması).
OLAP modeli, analitik iş yükleri için iyileştirilmiş, toplu bir veri depolama türüdür. Veri toplamaları farklı düzeylerdeki boyutlar arasında yer alır ve birden çok hiyerarşik düzeyde toplamaları görüntülemek için detaya gitmenizi/detaya gitmenizi sağlar; örneğin bölgeye, şehre veya tek bir adrese göre toplam satışı bulmak için. OLAP verileri önceden toplandığından, içerdiği özetleri döndüren sorgular hızla çalıştırılabilir.
Farklı kullanıcı türleri, genel mimarinin farklı aşamalarında veri analizi çalışmaları gerçekleştirebilir. Örnek:
- Veri bilimciler, verileri keşfetmek ve modellemek için doğrudan bir veri gölündeki veri dosyalarıyla çalışabilir.
- Veri Analisti karmaşık raporlar ve görselleştirmeler oluşturmak için tabloları doğrudan veri ambarında sorgulayabilir.
- İş kullanıcıları analiz modelinde raporlar veya panolar biçiminde önceden toplanmış verileri tüketebilir.