Eseguire la migrazione dei dati Hadoop locali ad Azure Data Lake Archiviazione Gen2 con la piattaforma WANdisco LiveData per Azure
WANdisco LiveData Platform per Azure esegue la migrazione di petabyte di dati Hadoop locali ai file system di Azure Data Lake Archiviazione Gen2 senza interrompere le operazioni sui dati o richiedere tempi di inattività. I controlli continui della piattaforma impediscono la perdita dei dati mantenendolo coerente a entrambe le estremità del trasferimento anche durante la modifica.
La piattaforma è costituita da due servizi. LiveData Migration per Azure esegue la migrazione attiva dei dati usati dagli ambienti locali all'archiviazione di Azure e LiveData Plane per Azure garantisce che tutti i dati modificati o inseriti vengano replicati in modo coerente.
Gestire entrambi i servizi usando il portale di Azure e l'interfaccia della riga di comando di Azure. Ogni servizio segue lo stesso modello di fatturazione con pagamento in base al consumo di tutti gli altri servizi di Azure: l'utilizzo dei dati nella piattaforma LiveData per Azure viene visualizzato nella fattura mensile di Azure, che fornirà le metriche di utilizzo.
A differenza della migrazione offline dei dati copiando informazioni statiche in Azure Data Box o usando strumenti Hadoop come DistCp, è possibile mantenere il funzionamento completo dei sistemi aziendali durante la migrazione online con WANdisco LiveData per Azure. Mantenere operativi gli ambienti Big Data anche durante lo spostamento dei dati in Azure.
Vantaggi principali della piattaforma WANdisco LiveData per Azure
WaNdisco LiveData Platform per il motore di consenso con supporto per la rete a livello di area di Azure raggiunge la coerenza dei dati e esegue la replica dei dati in tempo reale su larga scala. Per altre informazioni, vedere il video seguente:
I vantaggi principali della piattaforma includono quanto segue:
Accuratezza dei dati: la convalida end-to-end dei dati impedisce la perdita di dati e garantisce che i dati trasferiti siano adatti all'uso.
Coerenza dei dati: mantenere i volumi di dati automaticamente coerenti tra gli ambienti anche mentre subiscono modifiche continue.
Efficienza dei dati: trasferire in modo continuo volumi di dati di grandi dimensioni con controllo completo del consumo di larghezza di banda.
Eliminazione dei tempi di inattività: creare, modificare, leggere ed eliminare liberamente i dati con altre applicazioni durante la migrazione, senza dover interrompere le operazioni aziendali durante il trasferimento dei dati in Azure. Continuare a gestire applicazioni, infrastruttura di analisi, inserimento di processi e altre elaborazioni.
Uso semplice: usare l'integrazione di Azure della piattaforma per creare, configurare, pianificare e tenere traccia dello stato di avanzamento delle migrazioni automatizzate. Configurare inoltre la replica selettiva dei dati, i metadati Hive, la sicurezza dei dati e la riservatezza in base alle esigenze.
Funzionalità principali di WANdisco LiveData Platform per Azure
Le funzionalità principali della piattaforma includono quanto segue:
Migrazione dei metadati: oltre ai dati HDFS, eseguire la migrazione dei metadati (da Hive e altre risorse di archiviazione) con LiveData Migration per Azure.
Trasferimento pianificato: usare LiveData Migration per Azure per controllare e automatizzare l'avvio del trasferimento dei dati, eliminando la necessità di eseguire manualmente la migrazione delle modifiche ai dati.
Kerberos: LiveData Migrat per cluster kerberized supporto tecnico di Azure s.
Modelli di esclusione: creare regole in LiveData Migration per Azure per impedire la migrazione di determinate dimensioni o nomi di file (definiti usando modelli GLOB) all'archiviazione di destinazione. Creare modelli di esclusione nella portale di Azure o con l'interfaccia della riga di comando e applicarli a un numero qualsiasi di migrazioni.
Mapping dei percorsi: definire percorsi di destinazione alternativi per file system di destinazione specifici, che spostano automaticamente i dati trasferiti nelle directory specificate.
Gestione della larghezza di banda: configurare la quantità massima di larghezza di banda di rete usata da LiveData Migrat per Azure per evitare l'utilizzo della larghezza di banda eccessiva.
Esclusioni: definire query modello che impediscono la migrazione di file e directory che soddisfano i criteri, consentendo di eseguire la migrazione selettiva dei dati dal sistema di origine.
Metriche: visualizzare i dettagli sul trasferimento dei dati in LiveData Migrat per Azure, ad esempio i file trasferiti nel tempo, i percorsi esclusi, gli elementi che non sono stati trasferiti e altro ancora.
Eseguire la migrazione dei Big Data più velocemente senza rischi
Il primo servizio incluso in WANdisco LiveData Platform per Azure è LiveData Migration per Azure, che esegue la migrazione dei dati da ambienti locali a Archiviazione di Azure. Dopo aver distribuito LiveData Migrat nel cluster Hadoop locale, verrà creata automaticamente la configurazione migliore per il file system. Specificare quindi i dettagli Kerberos per il sistema. LiveData Migration per Azure sarà quindi pronto per eseguire la migrazione dei dati a Archiviazione di Azure.
Prima di iniziare con LiveData Migrat per Azure, esaminare questi prerequisiti.
Per eseguire una migrazione:
Nell'interfaccia della riga di comando di Azure:
- Eseguire la registrazione per il provider di risorse WANdisco nell'interfaccia della riga di comando di Azure eseguendo
az provider register --namespace Wandisco.Fusion --consent-to-permissions. - Accettare le condizioni di fatturazione a consumo della piattaforma LiveData eseguendo
az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>.
- Eseguire la registrazione per il provider di risorse WANdisco nell'interfaccia della riga di comando di Azure eseguendo
Distribuire un'istanza liveData Migratrice dal portale di Azure al cluster Hadoop locale. Non è necessario apportare modifiche o riavviare il cluster.
Nota
WANdisco LiveData Migrat per Azure offre la possibilità di creare un cluster di test Hadoop.
Configurare i dettagli kerberos, se applicabile.
Definire l'account di archiviazione abilitato per Azure Data Lake Archiviazione Gen2 di destinazione.
Definire il percorso dei dati di cui si vuole eseguire la migrazione, ad esempio:
/user/hive/warehouse.
Avviare la migrazione.
Monitorare lo stato di avanzamento della migrazione tramite strumenti standard di Azure, tra cui l'interfaccia della riga di comando di Azure e portale di Azure.
Replicare in modo bidirezionale i dati in una modifica attiva con LiveData Plane per Azure
Il secondo servizio incluso nella piattaforma LiveData è LiveData Plane per Azure. LiveData Plane usa il motore di coordinamento di WANdisco per mantenere coerenti i dati in molti cluster Hadoop locali e Archiviazione di Azure applicando in modo intelligente le modifiche ai dati in tutti i sistemi, rimuovendo il rischio di conflitti di dati in punti di utilizzo diversi.
Dopo la migrazione iniziale, mantenere i dati coerenti con LiveData Plane per Azure:
Distribuire LiveData Plane per Azure locale e in Azure, a partire dalla portale di Azure. Non sono necessarie modifiche all'applicazione.
Configurare le regole di replica che coprono i percorsi dei dati che si desidera mantenere coerenti, ad esempio:
/user/contoso/sales/region/WA.Eseguire applicazioni che accedono e modificano i dati in entrambe le posizioni in base alle esigenze.
LiveData Plane per Azure replica in modo coerente le modifiche ai dati in tutti gli ambienti senza alcun impatto significativo sulle prestazioni del cluster o sulle prestazioni dell'applicazione.
Test drive o versione di valutazione
Dalla pagina LiveData Platform for Azure Marketplace sono disponibili due opzioni:
Il pulsante Scarica adesso avvia il servizio nella sottoscrizione. Da qui, è possibile usare il proprio cluster Hadoop o il cluster di valutazione di WANdisco.
Selezionare Test Drive per testare LiveData Migrat per Azure in un ambiente preconfigurato e ospitato automaticamente. In questo modo è possibile provare LiveData Migrat per Azure prima di aggiungerlo alla sottoscrizione, senza costi o rischi per i dati.