Nasıl yapılır: Ölçüm verilerinizi Ölçüm Danışmanı'na ekleme

Makale
01/19/2024

Önemli

20 Eylül 2023 tarihinden itibaren yeni Ölçüm Danışmanı kaynakları oluşturamayacaksınız. Ölçüm Danışmanı hizmeti 1 Ekim 2026'da kullanımdan kaldırılıyor.

Verilerinizi Ölçüm Danışmanı'na ekleme hakkında bilgi edinmek için bu makaleyi kullanın.

Veri şeması gereksinimleri ve yapılandırması

Azure AI Ölçüm Danışmanı, zaman serisi anomali algılama, tanılama ve analiz için bir hizmettir. Yapay zeka destekli bir hizmet olarak, kullanılan modeli eğitmek için verilerinizi kullanır. Hizmet, aşağıdaki sütunlarla toplanan veri tablolarını kabul eder:

Ölçü (gerekli): Ölçü, temel veya üniteye özgü bir terimdir ve ölçümün ölçülebilir değeridir. Bu, sayısal değerler içeren bir veya daha fazla sütun anlamına gelir.
Zaman damgası (isteğe bağlı): veya türüne DateTimeStringsahip sıfır veya bir sütun. Bu sütun ayarlı olmadığında, zaman damgası her alım döneminin başlangıç saati olarak ayarlanır. Zaman damgasını şu şekilde biçimlendirin: yyyy-MM-ddTHH:mm:ssZ.
Boyut (isteğe bağlı): Boyut bir veya daha fazla kategorik değerdir. Bu değerlerin birleşimi belirli bir tek değişkenli zaman serisini (örneğin, ülke/bölge, dil ve kiracı) tanımlar. Boyut sütunları herhangi bir veri türünde olabilir. Aşırı sayıda boyutun işlenmesini önlemek için büyük hacimli sütun ve değerlerle çalışırken dikkatli olun.

Azure Data Lake Depolama veya Azure Blob Depolama gibi veri kaynaklarını kullanıyorsanız, verilerinizi beklenen ölçüm şemanızla uyumlu olacak şekilde toplayabilirsiniz. Bunun nedeni, bu veri kaynaklarının ölçüm girişi olarak bir dosya kullanmasıdır.

Azure SQL veya Azure Veri Gezgini gibi veri kaynaklarını kullanıyorsanız, verileri beklenen şemanızda toplamak için toplama işlevlerini kullanabilirsiniz. Bunun nedeni, bu veri kaynaklarının kaynaklardan ölçüm verilerini almak için sorgu çalıştırmayı desteklemesidir.

Terimlerin bazılarından emin değilseniz Sözlük'e bakın.

Kısmi verileri yüklemekten kaçının

Kısmi veriler, Ölçüm Danışmanı'nda depolanan veriler ile veri kaynağı arasındaki tutarsızlıklardan kaynaklanır. Ölçüm Danışmanı veri çekmeyi bitirdikten sonra veri kaynağı güncelleştirildiğinde bu durum oluşabilir. Ölçüm Danışmanı belirli bir veri kaynağından yalnızca bir kez veri çeker.

Örneğin, izleme için Ölçüm Danışmanı'na bir ölçüm eklendiyse. Ölçüm Danışmanı, ölçüm verilerini A zaman damgasında başarıyla alır ve bu veriler üzerinde anomali algılama gerçekleştirir. Ancak, veriler alındıktan sonra belirli bir A zaman damgasının ölçüm verileri yenilendiyse. Yeni veri değeri alınmaz.

Tutarsızlıkları azaltmak için geçmiş verileri (daha sonra açıklanmıştır) geri doldurmayı deneyebilirsiniz, ancak bu durum, söz konusu zaman noktalarına yönelik uyarılar zaten tetiklenmişse yeni anomali uyarılarını tetiklemez. Bu işlem sisteme ek iş yükü ekleyebilir ve otomatik değildir.

Kısmi verilerin yüklenmesini önlemek için iki yaklaşım öneririz:

Tek bir işlemde veri oluşturma:

Aynı zaman damgasındaki tüm boyut birleşimleri için ölçüm değerlerinin tek bir işlemde veri kaynağında depolandığından emin olun. Yukarıdaki örnekte, tüm veri kaynaklarından gelen veriler hazır olana kadar bekleyin ve ardından bunu tek bir işlemde Ölçüm Danışmanı'na yükleyin. Ölçüm Danışmanı, veriler başarıyla (veya kısmen) alınana kadar veri akışını düzenli olarak yoklayabilir.
Alma süresi uzaklığı parametresi için uygun bir değer ayarlayarak veri alımını geciktirin:

Veri alımını tamamen hazırlanana kadar geciktirmek için veri akışınız için alma süresi uzaklığı parametresini ayarlayın. Bu, Azure Tablo Depolama gibi işlemleri desteklemeyen bazı veri kaynakları için yararlı olabilir. Ayrıntılar için gelişmiş ayarlara bakın.

Veri akışı ekleyerek başlayın

Ölçüm Danışmanı portalınızda oturum açıp çalışma alanınızı seçtikten sonra Başlarken'e tıklayın. Ardından, çalışma alanının ana sayfasında soldaki menüden Veri akışı ekle'ye tıklayın.

Bağlantı ayarları ekleme

1. Temel ayarlar

Ardından, zaman serisi veri kaynağınızı bağlamak için bir dizi parametre gireceksiniz.

Kaynak Türü: Zaman serisi verilerinizin depolandığı veri kaynağı türü.
Ayrıntı düzeyi: Zaman serisi verilerinizde ardışık veri noktaları arasındaki aralık. Şu anda Ölçüm Danışmanı şunları destekler: Yıllık, Aylık, Haftalık, Günlük, Saatlik, dakika başına ve Özel. Özelleştirme seçeneğinin desteklediği en düşük aralık 60 saniyedir.
- Saniye: granularityName öğesinin Özelleştir olarak ayarlandığı saniye sayısı.
(UTC) tarihinden itibaren veri alma: Veri alımı için temel başlangıç zamanı. startOffsetInSeconds genellikle veri tutarlılığı konusunda yardımcı olacak bir uzaklık eklemek için kullanılır.

2. bağlantı dizesi belirtin

Ardından, veri kaynağı için bağlantı bilgilerini belirtmeniz gerekir. Diğer alanlar ve farklı veri kaynağı türlerini bağlama hakkında ayrıntılı bilgi için bkz. Nasıl yapılır: Bağlan farklı veri kaynakları.

3. Tek bir zaman damgası için sorgu belirtin

Farklı veri kaynağı türlerinin ayrıntıları için bkz. Nasıl yapılır: farklı veri kaynaklarını Bağlan.

Verileri yükleme

bağlantı dizesi ve sorgu dizesi girdikten sonra Verileri yükle'yi seçin. Bu işlemde Ölçüm Danışmanı bağlantıyı ve veri yükleme iznini denetleyecek, sorguda kullanılması gereken gerekli parametreleri (@IntervalStart ve @IntervalEnd) veri kaynağından sütun adını denetleyecektir.

Bu adımda bir hata varsa:

İlk olarak bağlantı dizesi geçerli olup olmadığını denetleyin.
Ardından yeterli izinler olup olmadığını ve alım çalışanı IP adresine erişim verilip verilmediğini denetleyin.
Ardından, sorgunuzda gerekli parametrelerin (@IntervalStart ve @IntervalEnd) kullanılıp kullanılmayıp kullanılmamadığını denetleyin.

Şema yapılandırması

Veri şeması yüklendikten sonra uygun alanları seçin.

Bir veri noktasının zaman damgası atlanırsa Ölçüm Danışmanı bunun yerine veri noktası alınırken zaman damgasını kullanır. Her veri akışı için en fazla bir sütunu zaman damgası olarak belirtebilirsiniz. Bir sütunun zaman damgası olarak belirtilemeyeceğini belirten bir ileti alırsanız, sorgunuzu veya veri kaynağınızı ve yalnızca önizleme verilerinde değil, sorgu sonucunda birden çok zaman damgası olup olmadığını denetleyin. Ölçüm Danışmanı veri alımı gerçekleştirirken, her seferinde belirli bir kaynaktan gelen zaman serisi verilerinin yalnızca bir öbek (örneğin, bir gün, bir saat - ayrıntı düzeyine göre) kullanabilir.

Seçim	Tanım	Notlar
Görünen Ad	Özgün sütun adı yerine çalışma alanınızda görüntülenecek ad.	isteğe bağlı.
Zaman damgası	Veri noktasının zaman damgası. Atlanırsa Ölçüm Danışmanı bunun yerine veri noktası alınırken zaman damgasını kullanır. Her veri akışı için en fazla bir sütunu zaman damgası olarak belirtebilirsiniz.	isteğe bağlı. En fazla bir sütunla belirtilmelidir. Bir sütun Zaman Damgası hatası olarak belirtilemiyorsa, sorgunuzu veya veri kaynağınızda yinelenen zaman damgaları olup olmadığını denetleyin.
Ölçü	Veri akışındaki sayısal değerler. Her veri akışı için birden çok ölçü belirtebilirsiniz, ancak ölçü olarak en az bir sütun seçilmelidir.	En az bir sütunla belirtilmelidir.
Boyut	Kategorik değerler. Farklı değerlerin birleşimi, ülke/bölge, dil, kiracı gibi belirli bir tek boyutlu zaman serisini tanımlar. Boyut olarak sıfır veya daha fazla sütun seçebilirsiniz. Not: Boyut olarak dize olmayan bir sütun seçerken dikkatli olun.	isteğe bağlı.
Yoksay	Seçili sütunu yoksay.	isteğe bağlı. Veri kaynaklarının veri almak için sorgu kullanma desteği için 'Yoksay' seçeneği yoktur.

Sütunları yoksaymak istiyorsanız, sorgunuzu veya veri kaynağınızı bu sütunları dışlamak üzere güncelleştirmenizi öneririz. Sütunları yoksay'ı ve ardından belirli sütunlarda Yoksay'ı kullanarak da sütunları yoksayabilirsiniz. Bir sütunun boyut olması gerekiyorsa ve yanlışlıkla Yoksayıldı olarak ayarlandıysa Ölçüm Danışmanı kısmi verileri alabilir. Örneğin, sorgunuzdaki verilerin aşağıdaki gibi olduğunu varsayalım:

Satır Kimliği	Zaman damgası	Ülke/Bölge	Dil	Geliri
Kategori 1	2019/11/10	Çin	ZH-CN	10000
2	2019/11/10	Çin	EN-US	1000
3	2019/11/10	ABD	ZH-CN	12000
4	2019/11/11	ABD	EN-US	23000
...	...	...	...	...

Ülke bir boyutsa ve Dil Yoksayıldı olarak ayarlandıysa, birinci ve ikinci satırlar bir zaman damgası için aynı boyutlara sahip olur. Ölçüm Danışmanı, iki satırdan rastgele bir değer kullanır. Ölçüm Danışmanı bu durumda satırları toplamaz.

Şemayı yapılandırdıktan sonra Şemayı doğrula'yı seçin. Bu işlemde Ölçüm Danışmanı aşağıdaki denetimleri gerçekleştirir:

Sorgulanan verilerin zaman damgasının tek bir aralıkta olup olmadığı.
Bir ölçüm aralığında aynı boyut bileşimi için yinelenen değerlerin döndürülip döndürülmediği.

Otomatik dağıtım ayarları

Önemli

Kök neden analizini ve diğer tanılama özelliklerini etkinleştirmek istiyorsanız Otomatik dağıtım ayarlarının yapılandırılması gerekir. Etkinleştirildikten sonra otomatik alma ayarları değiştirilemez.

Ölçüm Danışmanı, alma sırasında her boyut üzerinde otomatik olarak toplama (TOPLA, MAX, MIN gibi) gerçekleştirebilir, ardından kök olay analizinde ve diğer tanılama özelliklerinde kullanılacak bir hiyerarşi oluşturur.

Aşağıdaki senaryoları göz önünde bulundurun:

"Verilerim için toplanma analizini dahil etmek zorunda değilim."

Ölçüm Danışmanı'nı toplu olarak kullanmanız gerekmez.
"Verilerim zaten toplanmış ve boyut değeri şu şekilde gösteriliyor: NULL veya Boş (Varsayılan), yalnızca NULL, Diğerleri."

Bu seçenek, satırlar zaten toplanmış olduğundan Ölçüm Danışmanı'nın verileri toplamasına gerek olmadığı anlamına gelir. Örneğin, yalnızca NULL seçeneğini belirlerseniz, aşağıdaki örnekteki ikinci veri satırı tüm ülkelerin ve en-US dilinin bir toplaması olarak görülür; Ancak Ülke için boş bir değere sahip olan dördüncü veri satırı, eksik verileri gösterebilecek sıradan bir satır olarak görülür.

Ülke/Bölge Dil Geliri

Çin ZH-CN 10000

(NULL) EN-US 999999

ABD EN-US 12000

EN-US Kategori 5000

Ülke/Bölge	Dil	Geliri
Çin	ZH-CN	10000
(NULL)	EN-US	999999
ABD	EN-US	12000
	EN-US	Kategori 5000

"Toplam/En Yüksek/En Düşük/Ortalama/Sayım hesaplayarak verilerimi toplaması ve {some string} ile temsil ettiği ölçüm danışmanına ihtiyacım var."

Azure Cosmos DB veya Azure Blob Depolama gibi bazı veri kaynakları gruplandırma ölçütü veya küp gibi bazı hesaplamaları desteklemez. Ölçüm Danışmanı, veri alımı sırasında otomatik olarak bir veri küpü oluşturma seçeneği sağlar. Bu seçenek, seçtiğiniz algoritmayı kullanarak dağıtımı hesaplamak için Ölçüm Danışmanı'na ihtiyacınız olduğu ve Ölçüm Danışmanı'ndaki dağıtımı temsil etmek için belirtilen dizeyi kullanmanız gerektiği anlamına gelir. Bu işlem veri kaynağınızdaki hiçbir veriyi değiştirmez. Örneğin, boyuta sahip Satış ölçümlerini (Ülke, Bölge) ifade eden bir zaman serisi kümeniz olduğunu varsayalım. Belirli bir zaman damgası için aşağıdaki gibi görünebilir:

Ülke	Region	Satışlar
Kanada	Alberta	100
Kanada	Britanya Kolumbiyası	500
ABD	Montana	100

Toplam ile Otomatik Toplama'yı etkinleştirdikten sonra Ölçüm Danışmanı boyut birleşimlerini hesaplar ve veri alımı sırasında ölçümleri toplar. Sonuç şu olabilir:

Ülke	Region	Satışlar
Kanada	Alberta	100
NULL	Alberta	100
Kanada	Britanya Kolumbiyası	500
NULL	Britanya Kolumbiyası	500
ABD	Montana	100
NULL	Montana	100
NULL	NULL	700
Kanada	NULL	600
ABD	NULL	100

(Country=Canada, Region=NULL, Sales=600) , Kanada'daki (tüm bölgeler) Satışların toplamının 600 olduğu anlamına gelir.

SQL dilinde dönüştürme aşağıdadır.

SELECT
    dimension_1,
    dimension_2,
    ...
    dimension_n,
    sum (metrics_1) AS metrics_1,
    sum (metrics_2) AS metrics_2,
    ...
    sum (metrics_n) AS metrics_n
FROM
    each_timestamp_data
GROUP BY
    CUBE (dimension_1, dimension_2, ..., dimension_n);

Otomatik alma özelliğini kullanmadan önce aşağıdakileri göz önünde bulundurun:

Verilerinizi toplamak için TOPLA işlevini kullanmak istiyorsanız ölçümlerinizin her boyuta ekli olduğundan emin olun. Eklenmemiş ölçümlere bazı örnekler aşağıda verilmiştir:
- Kesir tabanlı ölçümler. Buna oran, yüzde vb. dahildir. Örneğin, tüm ülkenin/bölgenin işsizlik oranını hesaplamak için her eyaletin işsizlik oranını eklememelisiniz.
- Boyutta örtüşme. Örneğin, sporu seven kişi sayısını hesaplamak için her spordaki kişi sayısını eklememelisiniz, çünkü aralarında bir çakışma olduğundan, bir kişi birden çok sporu beğenebilir.
Tüm sistemin sistem durumunu sağlamak için küp boyutu sınırlıdır. Şu anda sınır 100.000'dir. Verileriniz bu sınırı aşarsa bu zaman damgası için veri alımı başarısız olur.

Gelişmiş ayarlar

Veri alımını özelleştirilmiş bir şekilde etkinleştirmek için alım uzaklığını veya eşzamanlılığı belirtme gibi çeşitli gelişmiş ayarlar vardır. Daha fazla bilgi için veri akışı yönetimi makalesindeki gelişmiş ayarlar bölümüne bakın.

Veri akışı için bir ad belirtin ve alım ilerleme durumunu denetleyin

Veri akışı için çalışma alanınızda görüntülenecek özel bir ad verin. Ardından Gönder'i seçin. Veri akışı ayrıntıları sayfasında, durum bilgilerini görüntülemek için alım ilerleme çubuğunu kullanabilirsiniz.

Alma hatası ayrıntılarını denetlemek için:

Ayrıntıları Göster'i seçin.
Durum'u ve ardından Başarısız'ı veya Hata'yı seçin.
Başarısız bir alımın üzerine gelin ve görüntülenen ayrıntılar iletisini görüntüleyin.

Check failed ingestion

Başarısız durum, bu veri kaynağının alımının daha sonra yeniden deneneceğini gösterir. Hata durumu Ölçüm Danışmanı'nın veri kaynağı için yeniden denemediğini gösterir. Verileri yeniden yüklemek için elle bir geri doldurma/yeniden yükleme tetiklemeniz gerekir.

Yenileme İlerlemesi'ne tıklayarak bir alımın ilerleme durumunu yeniden yükleyebilirsiniz. Veri alımı tamamlandıktan sonra ölçümlere tıklayıp anomali algılama sonuçlarını kontrol edebilirsiniz.

Share via