Fluxos de trabalho de indexação e pesquisa do Azure Data Manager for Energy
Todos os dados e metadados associados ingeridos na plataforma são indexados para permitir a pesquisa. Os metadados são acessíveis para garantir a sensibilização mesmo quando os dados não estão disponíveis.
Serviço de indexador
O Indexer Service fornece um mecanismo para indexar documentos que contêm dados estruturados e não estruturados.
Nota
Este serviço não é um serviço público e destina-se apenas a ser chamado internamente por outros serviços da plataforma principal.
Fluxo de trabalho de indexação
O diagrama abaixo ilustra o fluxo de trabalho de indexação:
Quando um cliente carrega dados na plataforma, os metadados associados são ingeridos usando o Storage service. O Storage service fornece um conjunto de APIs para gerenciar todo o ciclo de vida dos metadados, como ingestão (persistência), modificação, exclusão, controle de versão, recuperação e gerenciamento de esquema de dados. Cada registro de metadados de armazenamento criado pelo Storage service contém um parâmetro kind que se refere a um esquema subjacente. Este esquema determina os atributos que serão indexados pelo Indexer service.
Quando o Storage service cria um registro de metadados, ele gera um evento recordChangedMessages que é coletado no Barramento de Serviço do Azure (fila de mensagens). O Indexer queue serviço extrai a mensagem do Barramento de Serviço do Azure, executa a validação básica e a envia para o Indexer service. Se houver alguma falha no envio das mensagens para o Indexer service, o Indexer queue serviço tenta novamente enviar a mensagem até uma contagem máxima de tentativas configurável permitida. Se as tentativas de repetição falharem, uma confirmação negativa será enviada para o Barramento de Serviço do Azure, que arquivará a mensagem.
Quando o evento recordChangedMessages é recebido pelo Indexer Service, ele busca os esquemas necessários no cache de esquema ou por meio das Schema service APIs. Em Indexer Service seguida, cria um novo índice no Elasticsearch (se ainda não estiver presente) e, em seguida, envia uma consulta em massa para criar ou atualizar os registros, conforme necessário. Se a resposta do Elasticsearch for uma resposta de falha do tipo serviço indisponível ou a solicitação atingiu o tempo limite, o Indexer Service criará recordChangedMessages para essas IDs de registro com falha e colocará a mensagem no Barramento de Serviço do Azure. Essas mensagens serão novamente puxadas Indexer Queue pelo serviço e seguirão o mesmo fluxo de antes.
Para obter mais informações, consulte Serviço de indexador A documentação OSDU® fornece informações sobre o serviço de indexador
Fluxo de trabalho de pesquisa
Search service Fornece um mecanismo para descobrir documentos de metadados indexados. A API de Pesquisa suporta pesquisa de texto completo em campos de cadeia de caracteres, consultas de intervalo em data, campo numérico ou de cadeia de caracteres, etc., juntamente com pesquisas geoespaciais.
Quando os registros de metadados são carregados na Plataforma usando Storage serviceo , podemos configurar permissões para visualizadores e proprietários dos registros de metadados no campo acl . Os espectadores e proprietários são atribuídos através de grupos, Entitlement serviceconforme definido no . Ao realizar uma pesquisa como usuário, os registros de metadados correspondentes só serão exibidos para usuários atribuídos ao Grupo.
Para obter um tutorial detalhado sobre Search serviceo , consulte a documentação OSDU® do serviço de pesquisa
Reindexar fluxo de trabalho
A API de reindexação permite que os usuários reindexem um tipo sem recadastrar os registros por meio da API de armazenamento. Para obter informações detalhadas, consulte a documentação Reindexar OSDU®
OSDU® é uma marca comercial do The Open Group.