Azure IoT Veri İşlemcisi Önizleme işlem hatları ile uçta verileri işleme
Önemli
Azure Arc tarafından etkinleştirilen Azure IoT İşlemleri Önizlemesi şu anda ÖNİzLEME aşamasındadır. Bu önizleme yazılımını üretim ortamlarında kullanmamalısınız.
Beta veya önizleme aşamasında olan ya da başka bir şekilde henüz genel kullanıma sunulmamış olan Azure özelliklerinde geçerli olan yasal koşullar için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.
Endüstriyel varlıklar birçok farklı biçimde veri oluşturur ve çeşitli iletişim protokollerini kullanır. Değişen şemalar ve birim ölçüleriyle birlikte bu veri kaynakları çeşitliliği, ham endüstriyel verilerin etkili bir şekilde kullanılmasını ve analizini zorlaştırıyor. Ayrıca uyumluluk, güvenlik ve performans nedenleriyle tüm veri kümelerini buluta yükleyemezsiniz.
Bu verileri işlemek için geleneksel olarak pahalı, karmaşık ve zaman alan veri mühendisliği gerekir. Azure IoT Veri İşlemcisi Önizlemesi, endüstriyel verilerin karmaşıklıklarını ve çeşitliliğini yönetebilen yapılandırılabilir bir veri işleme hizmetidir. Farklı kaynaklardan gelen verileri daha anlaşılır, kullanılabilir ve değerli hale getirmek için Veri İşlemcisi'ni kullanın.
Azure IoT Veri İşlemcisi Önizlemesi nedir?
Azure IoT Veri İşlemcisi Önizlemesi, Azure IoT İşlemleri Önizlemesi'nin bir bileşenidir. Veri İşlemcisi, cihazlarınızdaki verileri toplamanıza, zenginleştirmenize, normalleştirmenize ve filtrelemenize olanak tanır. Veri İşlemcisi, uçtaki veya buluttaki diğer hizmetlere göndermeden önce verileri uçta işlemenize olanak tanıyan işlem hattı tabanlı bir veri işleme altyapısıdır:
Veri İşlemcisi, OPC UA sunucuları, tarihçiler ve diğer endüstriyel sistemler gibi kaynaklardan gerçek zamanlı akış verilerini alır. Çeşitli veri biçimlerini standartlaştırılmış, yapılandırılmış bir biçime dönüştürerek bu verileri normalleştirir ve bu da sorgulamayı ve çözümlemeyi kolaylaştırır. Veri işlemcisi ayrıca verileri bağlamsallaştırarak referans verilerle veya bilinen son değerlerle (LKV) zenginleştirerek endüstriyel operasyonlarınızın kapsamlı bir görünümünü sağlayabilir.
Veri İşlemcisi'nden elde edilen çıkış, gerçek zamanlı analiz ve içgörü araçları gibi aşağı akış uygulamaları için hazır olan temiz, zenginleştirilmiş ve standartlaştırılmış verilerdir. Veri işlemcisi ham verileri eyleme dönüştürülebilir içgörülere dönüştürmek için gereken süreyi önemli ölçüde azaltır.
Önemli Veri İşlemcisi özellikleri şunlardır:
Birden çok veri biçimlerini standartlaştırılmış bir yapıya dönüştürmek için esnek veri normalleştirmesi.
Bağlamı geliştirmek ve daha iyi içgörüler sağlamak için başvuru veya LKV verileriyle veri akışlarının zenginleştirilmesi.
Temiz verilerin analizini basitleştirmek için yerleşik Microsoft Fabric tümleştirmesi.
Çeşitli kaynaklardan verileri işleyebilme ve verileri çeşitli hedeflere yayımlayabilme.
Veri işleyicisi, verilerden bağımsız bir veri işleme platformu olarak verileri herhangi bir biçimde alabilir, işleyebilir ve ardından bir hedefe yazabilir. Veri İşlemcisi bu özellikleri desteklemek için çeşitli biçimleri seri durumdan kaldırıp seri hale getirebilir. Örneğin, Microsoft Fabric'e dosya yazmak için parquet olarak seri hale getirilebilir.
Bulut hedeflerine veri gönderirken oluşan geçici hataları işlemek için otomatik ve yapılandırılabilir yeniden deneme ilkeleri.
İşlem hattı nedir?
Veri İşlemcisi işlem hattında verileri okuduğu bir giriş kaynağı, işlenen verileri yazdığı bir hedef ve verileri işlemek için çeşitli ara aşamalar bulunur.
Ara aşamalar farklı kullanılabilir veri işleme özelliklerini temsil eder:
- İşlem hattına ihtiyacınız olan kadar ara aşama ekleyebilirsiniz.
- bir işlem hattının ara aşamalarını istediğiniz gibi sıralayabilirsiniz. İşlem hattı oluşturduktan sonra aşamaları yeniden sıralayabilirsiniz.
- Her aşama tanımlı bir uygulama arabirimine ve giriş/çıkış şeması sözleşmesine bağlıdır.
- Her aşama, işlem hattındaki diğer aşamalardan bağımsızdır.
- Tüm aşamalar bir bölüm kapsamında çalışır. Veriler farklı bölümler arasında paylaşılamaz.
- Veriler yalnızca bir aşamadan diğerine akar.
Veri İşlemcisi işlem hatları aşağıdaki aşamaları kullanabilir:
| Aşama | Açıklama |
|---|---|
| Kaynak - MQ | MQTT aracısından veri alır. |
| Kaynak - HTTP uç noktası | HTTP uç noktasından veri alır. |
| Kaynak - SQL | Microsoft SQL Server veritabanından veri alır. |
| Kaynak - InfluxDB | InfluxDB veritabanından veri alır. |
| Filtre | Aşama boyunca gelen verileri filtreler. Örneğin, aralığın dışında sıcaklık içeren tüm iletileri filtreleyin 50F-150F . |
| Dönüştürmek | Verilerin yapısını normalleştirir. Örneğin, yapısını olarak {"Name": "Temp", "value": 50}{"temp": 50}değiştirin. |
| LKV | Seçilen ölçüm değerlerini bir LKV deposunda depolar. Örneğin, yalnızca sıcaklık ve nem ölçümlerini LKV'de depolayın, gerisini yoksayın. Sonraki bir aşama, bir iletiyi depolanan LKV verileriyle zenginleştirebilir. |
| Zenginleştirmek | İletileri başvuru veri deposundaki verilerle zenginleştirir. Örneğin, işlem veri kümesinden bir işleç adı ve lot numarası ekleyin. |
| Topla | Aşamadan geçen değerleri toplar. Örneğin, sıcaklık değerleri her 100 milisaniyede bir gönderildiğinde, her 30 saniyede bir ortalama sıcaklık ölçümü yayar. |
| Sesli arama | Dış HTTP veya gRPC hizmetine çağrı yapar. Örneğin, özel ileti biçiminden JSON'a dönüştürmek için bir Azure İşlevi çağırın. |
| Hedef - MQ | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi bir MQTT konusuna yazar. |
| Hedef - Başvuru | İşlenen verilerinizi yerleşik başvuru deposuna yazar. Diğer işlem hatları, iletilerini zenginleştirmek için başvuru depolarını kullanabilir. |
| Hedef - gRPC | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi gRPC uç noktasına gönderir. |
| Hedef - HTTP | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi bir HTTP uç noktasına gönderir. |
| Hedef - Fabric Lakehouse | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi buluttaki bir Microsoft Fabric lakehouse'a gönderir. |
| Hedef - Azure Veri Gezgini | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi buluttaki bir Azure Veri Gezgini uç noktasına gönderir. |
| Hedef - Azure Blob Depolama | İşlenmiş, temiz ve bağlamsallaştırılmış verilerinizi buluttaki bir Azure Blob Depolama uç noktasına gönderir. |
Sonraki adım
Veri İşlemcisi işlem hatlarını denemek için bkz . Azure IoT İşlemleri hızlı başlangıçları.
Veri İşlemcisi hakkında daha fazla bilgi edinmek için bkz: