Azure Data Lake Storage viktiga överväganden

  • Artikel

Lär dig mer om viktiga lagringsöverväganden för dina Azure-datasjöar.

Livscykelhantering

Azure Storage erbjuder olika åtkomstnivåer, vilket gör att du kan lagra blobobjektdata på ett så kostnadseffektivt sätt som möjligt. Tillgängliga åtkomstnivåer är:

  • Hot: Optimerad för lagring av data som används ofta.
  • Cool: Optimerad för lagring av data som används sällan. Data lagras i minst 30 dagar.
  • Kall nivå: Optimerad för lagring av data som används sällan eller ändras. Data lagras i minst 90 dagar. Den infrekventa åtkomstnivån har lägre lagringskostnader och högre åtkomstkostnader jämfört med lågfrekvent lagringsnivå.
  • Arkiv: Optimerad för lagring av data som sällan används. Data lagras i minst 180 dagar med flexibla svarstidskrav i timmar.

Tänk på följande information när du använder åtkomstnivåer:

  • Endast frekvent och lågfrekvent åtkomstnivå kan anges på kontonivå. Arkivåtkomstnivån är inte tillgänglig på kontonivå.

  • Nivåerna Frekvent, Lågfrekvent och Arkiv kan alla anges på blobnivå under uppladdningen eller efter uppladdningen.

  • Data på lågfrekvent nivå har något lägre tillgänglighet, men har samma egenskaper för hög hållbarhet, svarstid för hämtning och dataflöde som frekvent nivådata. För data på lågfrekvent nivå kan något lägre tillgänglighet och högre åtkomstkostnader vara godtagbara kompromisser för lägre totala lagringskostnader jämfört med frekvent nivå.

  • Arkivlagring lagrar data offline och erbjuder de lägsta lagringskostnaderna. Men det medför också de högsta kostnaderna för dataåterställning och åtkomst.

Mer information finns i Frekvent, Lågfrekvent och Arkiv-åtkomstnivåer för blobdata.

Varning

För analys i molnskala rekommenderar vi att du implementerar livscykelhantering med en anpassad mikrotjänst och noggrant överväger effekten av att flytta användaridentifieringsbara data till lågfrekvent lagring.

Du bör bara flytta delar av datasjön till lågfrekvent nivå för väl förstådda arbetsbelastningar.

Anslutning till datasjöar

Var och en av dina datasjöar bör använda privata slutpunkter som matas in i det virtuella nätverket i din datalandningszon. Om du vill ge åtkomst mellan landningszoner ansluter du dina datalandningszoner via peering för virtuella nätverk. Den här anslutningen ger en optimal lösning både ur ett kostnads- och åtkomstkontrollperspektiv.

Mer information finns i Privata slutpunkter och Landningszon för datahantering till datalandningszon.

Viktigt

Data från en datalandningszon kan nås från en annan datalandningszon via peering för virtuella nätverk mellan zonerna. Detta görs med hjälp av de privata slutpunkter som är associerade med varje Data Lake-konto. Vi rekommenderar att du stänger av all offentlig åtkomst till dina sjöar och använder privata slutpunkter. Ditt plattformsdriftsteam bör styra nätverksanslutningen mellan dina datalandningszoner.

Mjuk borttagning för cotainrar

Mjuk borttagning för containrar skyddar dina data från oavsiktlig eller skadlig borttagning. Om du aktiverar mjuk borttagning av containrar för ditt lagringskonto behålls borttagna containrar och deras innehåll i Azure Storage under en längre tid som du väljer. Under datakvarhållningsperioden kan du återställa tidigare borttagna containrar. Om du återställer en container återställs även alla blobar som fanns i containern när den togs bort.

Aktivera följande dataskyddsfunktioner för att uppnå blobdata från slutpunkt till slutpunkt:

Varning

Det går inte att ångra borttagning av ett lagringskonto. Mjuk borttagning av containrar skyddar inte mot borttagning av lagringskonto, endast mot borttagning av containrar i ett konto. Om du vill skydda ett lagringskonto från borttagning konfigurerar du ett lås på lagringskontoresursen. Mer information om hur du låser Azure Resource Manager resurser finns i Låsa resurser för att förhindra oväntade ändringar.

Övervakning

I en datalandningszon ska all övervakning skickas till din prenumeration på hantering i företagsskala för analys.

Mer information om övervakningsdata som Azure Storage använder finns i Övervaka Azure-resurser med Azure Monitor. Mer information om loggar och mått som Azure Storage skapar finns i Övervakning Azure Blob Storage.

Loggposter skapas bara om begäranden görs mot tjänstslutpunkten. De typer av autentiserade begäranden som loggas är:

  • Lyckade begäranden
  • Misslyckade begäranden, inklusive timeout, begränsning, nätverk, auktorisering och andra fel
  • Begäranden som använder en signatur för delad åtkomst (SAS) eller OAuth, inklusive misslyckade och lyckade begäranden
  • Begäranden om analysdata, till exempel klassiska loggdata i containern $logs och klassmåttdata i tabellerna $metric

Begäranden som görs av själva lagringstjänsten, till exempel skapande eller borttagning av loggar, loggas inte. De typer av anonyma begäranden som loggas är:

  • Lyckade begäranden
  • Serverfel
  • Timeoutfel för både klient och server
  • Misslyckade HTTP GET-begäranden med felkoden 304 (Not Modified)

Alla andra misslyckade anonyma begäranden loggas inte.

Viktigt

Ange din standardövervakningsprincip för att granska lagring och skicka loggar till din hanteringsprenumeration i företagsskala.

Nästa steg