Övervaka en integreringskörning i ett hanterat virtuellt nätverk
GÄLLER FÖR:
Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
Du kan använda ett hanterat virtuellt Azure Data Factory-nätverk för att på ett säkert sätt ansluta dina datakällor till ett virtuellt nätverk som Data Factory-tjänsten hanterar. Med den här funktionen kan du upprätta en privat och isolerad miljö för dina dataintegrerings- och orkestreringsprocesser.
När du använder ett hanterat virtuellt nätverk kombinerar du funktionerna för dataintegrering och orkestrering i Data Factory med säkerhet och flexibilitet för virtuella Azure-nätverk. Det ger dig möjlighet att skapa robusta, skalbara och säkra dataintegreringspipelines som sömlöst ansluter till dina nätverksresurser, oavsett om de är lokala eller i molnet.
Ett vanligt problem med hanterad beräkning är bristen på insyn i prestanda och hälsa, särskilt i en hanterad virtuell nätverksmiljö. Utan korrekt övervakning blir det svårt att identifiera och lösa problem och kan leda till potentiella fördröjningar, fel och prestandaförsämring.
Genom att använda förbättrad övervakning i Data Factory kan du få värdefulla insikter om dina dataintegreringsprocesser. Dessa insikter kan leda till bättre effektivitet, bättre resursanvändning och bättre övergripande prestanda. Med proaktiv övervakning och aviseringar i tid kan du åtgärda problem, optimera arbetsflöden och säkerställa en smidig körning av dina dataintegreringspipelines i den hanterade virtuella nätverksmiljön.
Nya mått
Introduktionen av nya mått förbättrar synlighets- och övervakningsfunktionerna i hanterade virtuella nätverksmiljöer.
Azure Data Factory innehåller tre olika typer av beräkningspooler:
- Beräkning för en kopieringsaktivitet
- Beräkning för en pipelineaktivitet, till exempel en sökning
- Beräkning för en extern aktivitet, till exempel en Azure Databricks-notebook-fil
Dessa beräkningspooler erbjuder flexibilitet och skalbarhet för att hantera olika arbetsbelastningar och allokera resurser optimalt. Var och en är skräddarsydd för att hantera specifika krav för aktivitetskörning.
För att säkerställa konsekvent och omfattande övervakning över alla beräkningspooler har vi implementerat samma uppsättningar med övervakningsmått:
- Kapacitetsutnyttjande
- Tillgänglig kapacitetsprocent
- Kölängd väntar
Oavsett vilken typ av beräkningspool du använder kan du komma åt och analysera en standardiserad uppsättning mått för att få insikter om prestanda och hälsa för dina dataintegreringsaktiviteter.
Kommentar
Dessa mått är endast giltiga när du aktiverar TTL (Time To Live) i en integreringskörning i ett hanterat virtuellt nätverk.
| Mått | Enhet | beskrivning |
|---|---|---|
| Kopiera kapacitetsanvändning för MVNet-integreringskörning | Procent | Den maximala procentandelen Dataintegration enhetsanvändning (DIU) för TTL-kopieringsaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett fönster på 1 minut. |
| Kopiera tillgänglig kapacitet i procent av MVNet-integreringskörning | Procent | Den maximala procentandelen tillgängliga DIU för TTL-kopieringsaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Kopiera väntekölängd för MVNet-integreringskörning | Antal | Den väntande kölängden för TTL-kopieringsaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Användning av pipelinekapacitet för MVNet-integreringskörning | Procent | Den maximala procentandelen DIU-användning för pipelineaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Tillgänglig pipelinekapacitet i procent av MVNet-integreringskörning | Procent | Den maximala procentandelen tillgängliga DIU:er för pipelineaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Kölängd för kö i pipeline för MVNet-integreringskörning | Antal | Den väntande kölängden för pipelineaktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Extern kapacitetsanvändning för MVNet-integreringskörning | Procent | Den maximala procentandelen DIU-användning för externa aktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Extern tillgänglig kapacitet i procent av MVNet-integreringskörning | Procent | Den maximala procentandelen av tillgänglig DIU för externa aktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
| Extern kölängd för MVNet-integreringskörning | Antal | Den väntande kölängden för externa aktiviteter i ett hanterat virtuellt nätverks integrationskörning inom ett 1-minutersfönster. |
Använda mått för prestandaoptimering
Med hjälp av måtten kan du sömlöst spåra och utvärdera prestanda och robusthet för din integreringskörning i ett hanterat virtuellt nätverk. Du kan också upptäcka potentiella områden för kontinuerlig förbättring genom att optimera beräkningsinställningarna och arbetsflödet för att maximera effektiviteten.
Här är några exempelscenarier för att ge mer klarhet om den praktiska tillämpningen av dessa mått.
Balanserad
Om du ser att kapacitetsutnyttjandet är lägre än 100 procent och den tillgängliga kapacitetsprocenten är hög används de beräkningsresurser som du har reserverat effektivt.
Om kölängden förblir konsekvent låg eller upplever enstaka korta toppar rekommenderar vi att du köar andra aktiviteter tills kapacitetsutnyttjandet når 100 procent. Den här metoden hjälper till att säkerställa optimal användning av resurser och hjälper till att upprätthålla ett smidigt arbetsflöde med minimala fördröjningar.
Prestandaorienterad
Om du observerar att kapacitetsutnyttjandet konsekvent är lågt och kölängden förblir konsekvent låg eller har enstaka korta toppar är de beräkningsresurser som du har reserverat högre än efterfrågan på aktiviteter.
I sådana fall, oavsett om den tillgängliga kapacitetsprocenten är hög eller låg, rekommenderar vi att du minskar de allokerade beräkningsresurserna för att sänka kostnaderna. Genom att ge beräkningen behörighet att matcha arbetsbelastningskraven kan du optimera resursanvändningen och spara kostnader utan att äventyra effektiviteten i dina åtgärder.
Kostnadsorienterad
Om du märker att alla mått (inklusive kapacitetsutnyttjande, tillgänglig kapacitetsprocent och kölängd) är höga är de beräkningsresurser som du har reserverat sannolikt otillräckliga för dina aktiviteter.
I det här scenariot rekommenderar vi att du ökar de allokerade beräkningsresurserna för att minska kötiden. Genom att lägga till mer beräkningskapacitet ser du till att dina aktiviteter har tillräckligt med resurser för att köras effektivt, vilket minimerar eventuella fördröjningar som en fullsatt kö orsakar.
Intermittent aktivitetskörning
Om du märker att den tillgängliga kapacitetsprocenten varierar mellan låg och hög inom en viss tidsperiod beror det sannolikt på den tillfälliga körningen av dina aktiviteter, där TTL-perioden (Time-To-Live) som du har konfigurerat är kortare än intervallet mellan dina aktiviteter. Detta kan ha en betydande inverkan på arbetsflödets prestanda. För att lösa det här problemet finns det två möjliga lösningar. Först kan du köa fler aktiviteter för att upprätthålla en konsekvent arbetsbelastning och använda tillgängliga beräkningsresurser mer effektivt. Genom att hålla beräkningen kontinuerligt engagerad kan du undvika uppvärmningstiden och uppnå bättre prestanda. Du kan också överväga att utvidga TTL-perioden så att den överensstämmer med intervallet mellan dina aktiviteter. Detta säkerställer att beräkningsresurserna förblir tillgängliga under en längre tid, vilket minskar frekvensen för uppvärmningsperioder och optimerar kostnadseffektiviteten.
Genom att implementera någon av dessa lösningar kan du förbättra arbetsflödets prestanda, minimera kostnadskonsekvenser och säkerställa en smidigare körning av dina tillfälliga aktiviteter.
Relaterat innehåll
Gå vidare till följande artikel om du vill veta mer om hanterade virtuella nätverk och hanterade privata slutpunkter: Azure Data Factory-hanterat virtuellt nätverk.