Migrar dados para a conta do Azure Cosmos DB para NoSQL com o Striim
APLICA-SE A: NoSQL
A imagem Striim no Azure Marketplace oferece movimento contínuo de dados em tempo real de armazéns de dados e bases de dados para o Azure. Ao mover os dados, pode realizar desnormalização em linha, transformação de dados, ativar a análise em tempo real e cenários de relatórios de dados. É fácil começar a utilizar o Striim para mover continuamente dados empresariais para o Azure Cosmos DB para NoSQL. O Azure fornece uma oferta do marketplace que facilita a implementação do Striim e a migração de dados para o Azure Cosmos DB.
Este artigo mostra como utilizar o Striim para migrar dados de uma base de dados Oracle para uma conta do Azure Cosmos DB para NoSQL.
Pré-requisitos
Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.
Uma base de dados Oracle em execução no local com alguns dados.
Implementar a solução do Marketplace do Striim
Inicie sessão no portal do Azure.
Selecione Criar um recurso e procure Striim no Azure Marketplace. Selecione a primeira opção e Criar.
Em seguida, introduza as propriedades de configuração da instância do Striim. O ambiente Striim é implementado numa máquina virtual. No painel Noções Básicas , introduza o nome de utilizador da VM, a palavra-passe da VM (esta palavra-passe é utilizada para SSH na VM). Selecione os detalhes de Subscrição, Grupo de Recursos e Localização onde pretende implementar o Striim. Depois de concluído, selecione OK.
No painel Definições do Cluster do Striim , selecione o tipo de implementação Striim e o tamanho da máquina virtual.
Definição Valor Descrição Tipo de implementação Striim Autónomo O Striim pode ser executado em tipos de implementação Autónomos ou clusters . O modo autónomo irá implementar o servidor Striim numa única máquina virtual e pode selecionar o tamanho das VMs consoante o volume de dados. O modo de cluster irá implementar o servidor Striim em duas ou mais VMs com o tamanho selecionado. Os ambientes de cluster com mais de 2 nós oferecem elevada disponibilidade automática e ativação pós-falha.
Neste tutorial, pode selecionar a opção Autónomo. Utilize a VM de tamanho "Standard_F4s" predefinida.Nome do cluster do Striim <Striim_cluster_Name> Nome do cluster do Striim. Palavra-passe do cluster Striim <Striim_cluster_password> Palavra-passe para o cluster. Depois de preencher o formulário, selecione OK para continuar.
No painel Definições de acesso do Striim, configure o endereço IP Público (escolha os valores predefinidos), Nome de domínio para Striim, Administração palavra-passe que gostaria de utilizar para iniciar sessão na IU do Striim. Configure uma VNET e Uma Sub-rede (escolha os valores predefinidos). Depois de preencher os detalhes, selecione OK para continuar.
O Azure validará a implementação e certificar-se-á de que tudo fica bem; a validação demora alguns minutos a concluir. Depois de concluída a validação, selecione OK.
Por fim, reveja os termos de utilização e selecione Criar para criar a instância do Striim.
Configurar a base de dados de origem
Nesta secção, vai configurar a base de dados Oracle como a origem do movimento de dados. O servidor Striim é fornecido com o controlador Oracle JDBC que é utilizado para ligar ao Oracle. Para ler as alterações da base de dados Oracle de origem, pode utilizar o LogMiner ou as APIs XStream. O controlador Oracle JDBC está presente no caminho de classe Java do Striim para ler, escrever ou manter dados da base de dados Oracle.
Configurar a base de dados de destino
Nesta secção, irá configurar a conta do Azure Cosmos DB para NoSQL como o destino do movimento de dados.
Crie uma conta do Azure Cosmos DB para NoSQL com o portal do Azure.
Navegue para o painel Data Explorer na sua conta do Azure Cosmos DB. Selecione Novo Contentor para criar um novo contentor. Suponha que está a migrar produtos e encomendas de dados da base de dados Oracle para o Azure Cosmos DB. Crie uma nova base de dados com o nome StriimDemo com um contentor com o nome Encomendas. Aprovisione o contentor com 1000 RUs (este exemplo utiliza 1000 RUs, mas deve utilizar o débito estimado para a carga de trabalho) e /ORDER_ID como a chave de partição. Estes valores serão diferentes consoante os dados de origem.
Configurar o Oracle para o fluxo de dados do Azure Cosmos DB
Navegue para a instância do Striim que implementou no portal do Azure. Selecione o botão Ligar na barra de menus superior e, no separador SSH , copie o URL em Iniciar sessão com o campo de conta local da VM .
Abra uma nova janela de terminal e execute o comando SSH que copiou do portal do Azure. Este artigo utiliza o terminal num MacOS. Pode seguir as instruções semelhantes com um cliente SSH num computador Windows. Quando lhe for pedido, escreva sim para continuar e introduza a palavra-passe que definiu para a máquina virtual no passo anterior.
Na mesma janela do terminal, reinicie o servidor Striim ao executar os seguintes comandos:
systemctl stop striim-node systemctl stop striim-dbms systemctl start striim-dbms systemctl start striim-node
O Striim demorará um minuto a começar. Se quiser ver o estado, execute o seguinte comando:
tail -f /opt/striim/logs/striim-node.log
Agora, navegue de volta para o Azure e copie o endereço IP Público da VM do Striim.
Para navegar para a IU da Web do Striim, abra um novo separador num browser e copie o IP público seguido de: 9080. Inicie sessão com o nome de utilizador administrador, juntamente com a palavra-passe de administrador que especificou no portal do Azure.
Agora, vai chegar à home page do Striim. Existem três painéis diferentes : Dashboards, Aplicações e SourcePreview. O painel Dashboards permite-lhe mover dados em tempo real e visualizá-lo. O painel Aplicações contém os seus pipelines de dados de transmissão em fluxo ou fluxos de dados. No lado direito da página encontra-se SourcePreview, onde pode pré-visualizar os seus dados antes de os mover.
Selecione o painel Aplicações . Por enquanto, vamos focar-nos neste painel. Existem várias aplicações de exemplo que pode utilizar para saber mais sobre o Striim. No entanto, neste artigo, irá criar as nossas próprias aplicações. Selecione o botão Adicionar Aplicação no canto superior direito.
Existem algumas formas diferentes de criar aplicações Striim. Selecione Iniciar com Modelo para começar com um modelo existente.
No campo Procurar modelos , escreva "Cosmos" e selecione Destino: Azure Cosmos DB e, em seguida, selecione Oracle CDC para o Azure Cosmos DB.
Na página seguinte, dê um nome à sua aplicação. Pode fornecer um nome como oraToCosmosDB e, em seguida, selecionar Guardar.
Em seguida, introduza a configuração de origem da instância oracle de origem. Introduza um valor para o Nome de Origem. O nome de origem é apenas uma convenção de nomenclatura para a aplicação Striim. Pode utilizar algo como src_onPremOracle. Introduza valores para o resto do URL dos parâmetros de origem, Nome de Utilizador, Palavra-passe, selecione LogMiner como o leitor para ler dados do Oracle. Selecione Seguinte para continuar.
O Striim irá verificar o seu ambiente e certificar-se de que consegue ligar-se à instância oracle de origem, ter os privilégios corretos e que a CDC foi configurada corretamente. Assim que todos os valores forem validados, selecione Seguinte.
Selecione as tabelas da base de dados Oracle que pretende migrar. Por exemplo, vamos escolher a tabela Encomendas e selecionar Seguinte.
Depois de selecionar a tabela de origem, pode efetuar operações mais complicadas, como mapeamento e filtragem. Neste caso, irá apenas criar uma réplica da tabela de origem no Azure Cosmos DB. Por isso, selecione Seguinte para configurar o destino
Agora, vamos configurar o destino:
- Nome de Destino – forneça um nome amigável para o destino.
- Entrada De - Na lista pendente, selecione o fluxo de entrada a partir do que criou na configuração oracle de origem.
- Coleções – introduza as propriedades de configuração do Azure Cosmos DB de destino. A sintaxe das coleções é SourceSchema.SourceTable, TargetDatabase.TargetContainer. Neste exemplo, o valor seria "SYSTEM. ORDERS, StriimDemo.Orders".
- AccessKey – a Chave Primária da sua conta do Azure Cosmos DB.
- ServiceEndpoint – o URI da sua conta do Azure Cosmos DB, pode encontrá-lo na secção Chaves do portal do Azure.
Selecione Guardar e Seguinte.
Em seguida, irá chegar ao estruturador de fluxo, onde pode arrastar e largar os conectores de caixa para criar as suas aplicações de transmissão em fluxo. Não irá efetuar quaisquer modificações ao fluxo neste momento. por isso, implemente a aplicação ao selecionar o botão Implementar Aplicação .
Na janela de implementação, pode especificar se pretende executar determinadas partes da sua aplicação em partes específicas da topologia de implementação. Uma vez que estamos a executar uma topologia de implementação simples através do Azure, vamos utilizar a opção predefinida.
Após a implementação, pode pré-visualizar o fluxo para ver os dados a fluir. Selecione o ícone de onda e o globo ocular junto ao mesmo. Selecione o botão Implementado na barra de menus superior e selecione Iniciar Aplicação.
Ao utilizar um leitor da CDC (Captura de Dados Alterados), o Striim irá recolher apenas novas alterações na base de dados. Se tiver dados a fluir pelas tabelas de origem, irá vê-lo. No entanto, uma vez que se trata de uma tabela de demonstração, a origem não está ligada a nenhuma aplicação. Se utilizar um gerador de dados de exemplo, pode inserir uma cadeia de eventos na sua base de dados Oracle.
Verá dados a fluir através da plataforma Striim. O Striim também recolhe todos os metadados associados à sua tabela, o que é útil para monitorizar os dados e garantir que os dados são colocados no destino certo.
Por fim, vamos iniciar sessão no Azure e navegar para a sua conta do Azure Cosmos DB. Atualize a Data Explorer e poderá ver que os dados chegaram.
Ao utilizar a solução Striim no Azure, pode migrar continuamente dados para o Azure Cosmos DB a partir de várias origens, como Oracle, Cassandra, MongoDB e várias outras para o Azure Cosmos DB. Para saber mais, visite o site do Striim, transfira uma avaliação gratuita de 30 dias do Striim e, para quaisquer problemas ao configurar o caminho de migração com o Striim, envie um pedido de suporte.
Passos seguintes
Está a tentar planear a capacidade de uma migração para o Azure Cosmos DB?
- Se tudo o que sabe é o número de vcores e servidores no cluster de bases de dados existente, leia sobre como estimar unidades de pedido com vCores ou vCPUs
- Se souber taxas de pedido típicas para a carga de trabalho atual da base de dados, leia sobre como estimar unidades de pedido com o planeador de capacidade do Azure Cosmos DB
Se estiver a migrar dados para o Azure Cosmos DB para NoSQL, veja como migrar dados para a API para a conta do Cassandra com o Striim
Monitorizar e depurar os seus dados com as métricas do Azure Cosmos DB