Migrera lokala Hadoop-data till Azure Data Lake Storage Gen2 med WANdisco LiveData Platform för Azure
WANdisco LiveData Platform för Azure migrerar petabyte med lokala Hadoop-data till Azure Data Lake Storage Gen2-filsystem utan att avbryta dataåtgärder eller kräva driftstopp. Plattformens kontinuerliga kontroller förhindrar att data går förlorade samtidigt som de hålls konsekventa i båda ändar av överföring även när de genomgår ändringar.
Plattformen består av två tjänster. LiveData Migrator för Azure migrerar aktivt använda data från lokala miljöer till Azure Storage, och LiveData Plane för Azure säkerställer att alla ändrade eller inmatade data replikeras konsekvent.
Hantera båda tjänsterna med hjälp av Azure-portalen och Azure CLI. Varje tjänst följer samma faktureringsmodell för betala per användning som alla andra Azure-tjänster: dataförbrukning i LiveData Platform för Azure visas på den månatliga Azure-fakturan, som ger användningsstatistik.
Till skillnad från att migrera data offline genom att kopiera statisk information till Azure Data Box, eller genom att använda Hadoop-verktyg som DistCp, kan du upprätthålla fullständig drift av dina affärssystem under onlinemigrering med WANdisco LiveData för Azure. Se till att dina stordatamiljöer fungerar även när de flyttar sina data till Azure.
Viktiga fördelar med WANdisco LiveData Platform för Azure
WANdisco LiveData Platform för Azures breda nätverkskompatibla konsensusmotor uppnår datakonsekvens och utför datareplikering i realtid i stor skala. Mer information finns i följande video:
Viktiga fördelar med plattformen är följande:
Datanoggrannhet: Validering från slutpunkt till slutpunkt av data förhindrar dataförlust och säkerställer att överförda data är lämpliga för användning.
Datakonsekvens: Håll datavolymerna automatiskt konsekventa mellan miljöer även om de genomgår kontinuerliga ändringar.
Dataeffektivitet: Överföra stora datavolymer kontinuerligt med fullständig kontroll över bandbreddsförbrukningen.
Eliminering av stilleståndstid: Skapa, ändra, läsa och ta bort data med andra program under migreringen utan att behöva störa verksamheten under dataöverföringen till Azure. Fortsätt att använda program, analysinfrastruktur, inmatningsjobb och annan bearbetning.
Enkel användning: Använd plattformens Azure-integrering för att skapa, konfigurera, schemalägga och spåra förloppet för automatiserade migreringar. Konfigurera dessutom selektiv datareplikering, Hive-metadata, datasäkerhet och konfidentialitet efter behov.
Viktiga funktioner i WANdisco LiveData Platform för Azure
Här är några av plattformens viktigaste funktioner:
Metadatamigrering: Förutom HDFS-data migrerar du metadata (från Hive och andra lagringsenheter) med LiveData Migrator för Azure.
Schemalagd överföring: Använd LiveData Migrator för Azure för att styra och automatisera när dataöverföringen initieras, vilket eliminerar behovet av att migrera ändringar till data manuellt.
Kerberos: LiveData Migrator för Azure stöder Kerberized-kluster.
Undantagsmallar: Skapa regler i LiveData Migrator för Azure för att förhindra att vissa filstorlekar eller filnamn (definierade med hjälp av globmönster) migreras till mållagringen. Skapa undantagsmallar i Azure-portalen eller med CLI och tillämpa dem på valfritt antal migreringar.
Sökvägsmappningar: Definiera alternativa målsökvägar för specifika målfilsystem, som automatiskt flyttar överförda data till kataloger som du anger.
Bandbreddshantering: Konfigurera den maximala mängden nätverksbandbredd LiveData Migrator för Azure kan använda för att förhindra bandbredd över förbrukning.
Undantag: Definiera mallfrågor som förhindrar migrering av filer och kataloger som uppfyller kriterierna, så att du selektivt kan migrera data från källsystemet.
Mått: Visa information om dataöverföring i LiveData Migrator för Azure, till exempel filer som överförs över tid, undantagna sökvägar, objekt som inte kunde överföras med mera.
Migrera stordata snabbare utan risk
Den första tjänsten som ingår i WANdisco LiveData Platform för Azure är LiveData Migrator för Azure, som migrerar data från lokala miljöer till Azure Storage. När du har distribuerat LiveData Migrator till ditt lokala Hadoop-kluster skapar det automatiskt den bästa konfigurationen för filsystemet. Därifrån anger du Kerberos-information för systemet. LiveData Migrator för Azure är sedan redo att migrera data till Azure Storage.
Innan du börjar med LiveData Migrator för Azure bör du läsa de här förutsättningarna.
Så här utför du en migrering:
I Azure CLI:
- Registrera dig för WANdisco-resursprovidern i Azure CLI genom att köra
az provider register --namespace Wandisco.Fusion --consent-to-permissions. - Acceptera faktureringsvillkoren för LiveData Platform genom att köra
az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>.
- Registrera dig för WANdisco-resursprovidern i Azure CLI genom att köra
Distribuera en LiveData Migrator-instans från Azure-portalen till ditt lokala Hadoop-kluster. (Du behöver inte göra ändringar i eller starta om klustret.)
Kommentar
WANdisco LiveData Migrator för Azure ger möjlighet att skapa ett Hadoop-testkluster.
Konfigurera Kerberos-information, om tillämpligt.
Definiera det Azure Data Lake Storage Gen2-aktiverade mållagringskontot.
Definiera platsen för de data som du vill migrera, till exempel:
/user/hive/warehouse.
Starta migreringen.
Övervaka migreringens förlopp med azure-standardverktyg, inklusive Azure CLI och Azure-portalen.
Dubbelriktad replikering av data under aktiv ändring med LiveData-plan för Azure
Den andra tjänsten som ingår i LiveData-plattformen är LiveData Plane för Azure. LiveData Plane använder WANdiscos samordningsmotor för att hålla data konsekventa i många lokala Hadoop-kluster och Azure Storage genom att intelligent tillämpa ändringar på data på alla system, vilket tar bort risken för datakonflikter vid olika användningspunkter.
Efter den inledande migreringen ska du hålla dina data konsekventa med LiveData Plane för Azure:
Distribuera LiveData Plane för Azure lokalt och i Azure, med början från Azure-portalen. Inga programändringar krävs.
Konfigurera replikeringsregler som täcker de dataplatser som du vill behålla konsekventa, till exempel:
/user/contoso/sales/region/WA.Kör program som får åtkomst till och ändrar data på någon av platserna efter behov.
LiveData Plane för Azure replikerar konsekvent dataändringar i alla miljöer utan betydande påverkan på klusteråtgärden eller programmets prestanda.
Provkörning eller utvärderingsversion
Från LiveData Platform för Azures Marketplace-sida har du två alternativ:
Knappen Hämta nu startar tjänsten i din prenumeration. Därifrån kan du använda ditt eget Hadoop-kluster eller WANdiscos utvärderingskluster.
Välj Provkörning för att testa LiveData Migrator för Azure i en miljö som är förkonfigurerad och värdhanterad åt dig. På så sätt kan du prova LiveData Migrator för Azure innan du lägger till den i din prenumeration, utan kostnad eller risk för dina data.