Naplóadatok gyűjtése és elemzése Azure Cognitive Search

A diagnosztikai vagy működési naplók betekintést nyújtanak a Azure Cognitive Search részletes műveleteibe, és hasznosak lehetnek a szolgáltatás állapotának és folyamatainak monitorozásához. A Microsoft a háttérrendszer rendszerinformációit egy rövid ideig (körülbelül 30 napig) őrzi meg, ami elegendő a vizsgálathoz és az elemzéshez, ha támogatási jegyet nyújt be. Ha azonban a működési adatok tulajdonjogát szeretné tulajdonba adni, konfigurálnia kell egy diagnosztikai beállítást, amely megadja a naplózási adatok gyűjtésének helyét.

A diagnosztikai naplózás a háttér-integráció és a Azure Monitor. A diagnosztikai naplózás beállításakor meg kell adnia egy tárolási lehetőséget a napló megőrzéséhez. Az alábbi táblázat számba veszi a beállításokat.

Erőforrás Alkalmazási cél
Küldés a Log Analytics-munkaterületre Az események és a metrikák egy Log Analytics-munkaterületre lesznek elküldve, amely lekérdezhető a portálon, és részletes információkat ad vissza. Bevezetésért lásd: Bevezetés a Azure Monitor naplókba
Archiválás Blob Storage használatával Az események és a metrikák egy blobtárolóba vannak archiválva, és JSON-fájlokban vannak tárolva. A naplók meglehetősen részletesek lehetnek (óránként/percben), és hasznosak lehetnek egy adott incidens kivizsgálására, de nem használhatók nyílt végű vizsgálatra. JSON-szerkesztővel nyers naplófájlokat vagy Power BI a naplóadatok összesítéséhez és vizualizációhoz.
Streamelés az Eseményközpontba Az események és a metrikák streamelése egy Azure Event Hubs szolgáltatásba. Válassza ezt alternatív adatgyűjtési szolgáltatásként nagyon nagy méretű naplókhoz.

Előfeltételek

Hozzon létre előre erőforrásokat, hogy kiválaszthat egyet vagy többet a diagnosztikai naplózás konfigurálásakor.

Az adatgyűjtés engedélyezése

A diagnosztikai beállítások a naplózott események és metrikák gyűjtésének a módszerét határozzák meg.

  1. A Monitorozás területen kattintson a Diagnosztikai beállítások elemre.

    Diagnosztikai beállítások

  2. Válassza a + Diagnosztikai beállítás hozzáadása lehetőséget

  3. Jelölje be a Log Analyticset, jelölje ki a munkaterületet, majd válassza az OperationLogs és az AllMetrics lehetőséget.

    Adatgyűjtés konfigurálása

  4. Mentse a beállítást.

  5. A naplózás engedélyezése után a keresési szolgáltatás elkezdi generálni a naplókat és a metrikákat. A naplózott események és metrikák elérhetővé válnak, ez némi időt is igénybe vehet.

A Log Analytics esetén várjon néhány percet az adatok rendelkezésre állása előtt, majd futtatassa a Kusto-lekérdezéseket az adatok visszaadása érdekében. További információ: Lekérdezési kérelmek figyelése.

A Blob Storage-tárolóknál egy óra szükséges ahhoz, hogy a tárolók megjelenjenek a Blob Storage-ban. Tárolónként óránként egy blob található. A tárolók csak akkor vannak létrehozva, ha van naplózható vagy mérnire szolgáló tevékenység. Amikor a rendszer átmásolja az adatokat egy tárfiókba, az adatok JSON formátumban vannak formázva, és két tárolóba kerülnek:

  • insights-logs-operationlogs: a forgalmi naplók kereséshez
  • insights-metrics-pt1m: metrikákhoz

Lekérdezési napló adatai

Két tábla naplókat és metrikákat tartalmaz a Azure Cognitive Search: AzureDiagnostics és AzureMetrics.

  1. A Figyelés alatt válassza a Naplók lehetőséget.

  2. A lekérdezési ablakban írja be az AzureMetrics parancsot, ellenőrizze a hatókört (a keresési szolgáltatást) és az időtartományt, majd kattintson a Futtatás gombra, hogy megismerkedjen az ebben a táblázatban összegyűjtött adatokkal.

    A metrikák és értékek megtekintéséhez görgessen végig a táblázaton. Figyelje meg felül a rekordszámokat. Ha a szolgáltatás már egy ideje metrikákat gyűjt, érdemes lehet módosítani az időintervallumot, hogy kezelhető adathalmazt kapj.

    AzureMetrics-tábla

  3. Adja meg a következő lekérdezést, hogy táblázatos eredményhalmazt adjon vissza.

    AzureMetrics
    | project MetricName, Total, Count, Maximum, Minimum, Average
    
  4. Ismételje meg az előző lépéseket, kezdve az AzureDiagnostics használatával, hogy az összes oszlopot információként adja vissza, majd egy szelektívebb lekérdezést, amely érdekesebb információkat ad vissza.

    AzureDiagnostics
    | project OperationName, resultSignature_d, DurationMs, Query_s, Documents_d, IndexName_s
    | where OperationName == "Query.Search" 
    

    AzureDiagnostics tábla

Példák Kusto-lekérdezésre

Ha engedélyezte a diagnosztikai naplózást, lekérdezheti az AzureDiagnosticsból a szolgáltatásban futtatott műveletek listáját, valamint hogy mikor. A tevékenység korrelálva megvizsgálhatja a teljesítménybeli változásokat.

Példa: List operations (Listaműveletek)

Visszaadja a műveletek listáját és az egyes műveletek számát.

AzureDiagnostics
| summarize count() by OperationName

Példa: Korrelálhatja a műveleteket

Korrelálja a lekérdezési kéréseket az indexelési műveletekkel, és renderelheti az adatpontokat egy idődiagramon, hogy lássa a műveleteket egybeesve.

AzureDiagnostics
| summarize OperationName, Count=count()
| where OperationName in ('Query.Search', 'Indexing.Index')
| summarize Count=count(), AvgLatency=avg(durationMs) by bin(TimeGenerated, 1h), OperationName
| render timechart

Naplózott műveletek

A naplózott események Azure Monitor indexeléssel és lekérdezésekkel kapcsolatosak. A Log Analytics AzureDiagnostics táblája lekérdezésekhez és indexeléshez kapcsolódó működési adatokat gyűjt.

OperationName Leírás
ServiceStats (Szolgáltatásállapotok) Ez a művelet a Szolgáltatásstatisztikák lehívásának rutinhívása, amely közvetlenül vagy implicit módon hívható meg a portál áttekintő oldalának betöltésekor vagy frissítésekkor való feltöltéséhez.
Query.Search Indexre vonatkozó lekérdezési kérések: A naplózott lekérdezésekkel kapcsolatos információkért lásd: Lekérdezések figyelése.
Indexelés.Index Ez a művelet a Dokumentumok hozzáadása, frissítése vagy törlése hívása.
Indexek. Prototípus Ezt az indexet az Adatok importálása varázsló hozta létre.
Indexers.Create Hozzon létre explicit vagy implicit módon egy indexelőt az Adatok importálása varázslóval.
Indexers.Get Egy indexelő nevét adja vissza az indexelő futtatásakor.
Indexers.Status Egy indexelő állapotát adja vissza az indexelő futtatásakor.
DataSources.Get Az adatforrás nevét adja vissza indexelő futtatásakor.
Indexes.Get Indexelő futtatásakor egy index nevét adja vissza.

Naplóséma

Ha egyéni jelentéseket készít, a naplóadatokat Azure Cognitive Search adatstruktúrák az alábbi sémának felelnek meg. A Blob Storage-hez minden blobnak van egy gyökérobjektuma, a rekordok, amelyek naplóobjektumok tömböt tartalmaznak. Minden blob az egy órán belül lekért összes művelet rekordjait tartalmazza.

Az alábbi táblázat az erőforrás-naplózásban gyakran használt mezők részleges listáját tartalmazza.

Név Típus Példa Megjegyzések
timeGenerated (időáltalános) dátum/idő "2018-12-07T00:00:43.6872559Z" A művelet időbélyege
resourceId sztring "/SUBSCRIPTIONS/11111111-1111-1111-1111-1111111111111/
RESOURCEGROUPS/DEFAULT/PROVIDERS/
Microsoft. SEARCH/SEARCHSERVICES/SEARCHSERVICE"
Az Ön ResourceId-e
operationName sztring "Query.Search" A művelet neve
operationVersion sztring "2020-06-30" A használt API-verzió
category sztring "OperationLogs" Állandó
resultType sztring "Sikeres" Lehetséges értékek: Sikeres vagy Sikertelen
resultSignature int 200 HTTP-eredménykód
durationMS int 50 A művelet időtartama ezredmásodpercben
properties object lásd a következő táblázatot Műveletspecifikus adatokat tartalmazó objektum

Tulajdonságok sémája

Az alábbi tulajdonságok csak a Azure Cognitive Search.

Név Típus Példa Megjegyzések
Description_s sztring "GET /indexes('content')/docs" A művelet végpontja
Documents_d int 42 Feldolgozott dokumentumok száma
IndexName_s sztring "test-index" A művelethez társított index neve
Query_s sztring "?search=AzureSearch&$count=true&api-version=2020-06-30" A lekérdezési paraméterek

Metrikaséma

A rendszer rögzíti a lekérdezési kérések metrikákat, és egyperces időközönként méri őket. Minden metrika percenkénti minimális, maximális és átlagos értékeket tartalmaz. További információ: Lekérdezési kérelmek figyelése.

Név Típus Példa Megjegyzések
resourceId sztring "/SUBSCRIPTIONS/11111111-1111-1111-1111-1111111111111/
RESOURCEGROUPS/DEFAULT/PROVIDERS/
Microsoft. SEARCH/SEARCHSERVICES/SEARCHSERVICE"
az erőforrás-azonosító
metricName (metrikanév) sztring "Késés" a metrika neve
time dátum/idő "2018-12-07T00:00:43.6872559Z" a művelet időbélyege
átlag int 64 A nyers minták átlagos értéke a metrika-időintervallumban, egységek másodpercben vagy százalékban a metrika alapján.
minimum int 37 A nyers minták minimális értéke a metrika-időintervallumban( mértékegység másodpercben).
maximum int 78 A nyers minták maximális értéke a metrika-időintervallumban( mértékegység másodpercben).
összesen int 258 A nyers minták teljes értéke a metrika-időintervallumban( mértékegység másodpercben).
count int 4 A csomópontból a naplóba kibocsátott metrikák száma egy percen belül.
timegrain (időgrain) sztring "PT1M" Az ISO 8601 metrika időszintszáma.

Gyakori, hogy a lekérdezések ezredmásodpercben futnak, így csak a másodpercként mérő lekérdezések jelennek meg olyan metrikákban, mint a QPS.

A Lekérdezések keresése másodpercenként metrika esetén a minimális érték az adott percben regisztrált keresési lekérdezések másodpercenkénti legalacsonyabb értéke. Ugyanez vonatkozik a maximális értékre is. Az Average (Átlag) a teljes perc összesítése. Egy percen belül például a következő mintával találkozhat: egy másodpercnyi magas terheléssel, amely a SearchQueriesPerSecond maximális mérete, amelyet 58 másodperc átlagos terhelés követ, végül egy másodperc egyetlen lekérdezéssel, amely a minimális érték.

A leszámolt keresési lekérdezések százalékos aránya, minimum, maximum, átlag és összeg esetén mind ugyanaz az érték érhető el: a lekért keresési lekérdezések százalékos aránya az egy perc alatt lekért keresési lekérdezések teljes számában.

Nyers naplófájlok megtekintése

A Blob Storage a naplófájlok archiválható. A naplófájl megtekintéséhez bármilyen JSON-szerkesztőt használhat. Ha még nem tudja, javasoljuk, hogy Visual Studio Code-et.

  1. A Azure Portal nyissa meg a Storage fiókját.

  2. A bal oldali navigációs panelen kattintson a Blobok elemre. Meg kell jelenni az insights-logs-operationlogs és az insights-metrics-pt1m naplóknak. Ezeket a tárolókat a blobtárolók Azure Cognitive Search blobtárolóba exportálja a naplóadatokat.

  3. Kattintson a mappahierarchiára, amíg el nem éri a .json fájlt. A fájl letöltéséhez használja a helyi menüt.

Miután letöltötte a fájlt, nyissa meg egy JSON-szerkesztőben a tartalom megtekintéséhez.

Következő lépések

Ha még nem tette meg, tekintse át a keresési szolgáltatás monitorozásának alapjait, és ismerje meg az összes felügyeleti képességet.