Aplicações inteligentes com a Base de Dados do Azure para PostgreSQL

Serviço de Aplicações
Serviços Cognitivos
Base de Dados para PostgreSQL
Machine Learning
Power BI

Ideia de solução

Se quiser ver-nos expandir este artigo com mais informações, detalhes de implementação, orientação de preços ou exemplos de código, informe-nos com o Feedback do GitHub!

Desenvolver aplicações sofisticadas e transformacionais utilizando algoritmos de aprendizagem automática de última geração e ferramentas de visualização integradas para obter insights e análises atuais.

Neste exemplo de uma aplicação inteligente, o PostgreSQL é o coração da arquitetura como a base de dados principal para um caso comum de utilização aiml de análise de texto nas redes sociais. O suporte pós-SQL para dados não estruturados, a capacidade de executar consultas paralelas e partição declarativa torna-a uma escolha eficaz de base de dados para uma tarefa AIML altamente intensiva de dados. Uma vez que o PostgreSQL é uma solução baseada na nuvem, esta arquitetura não é recomendada para aplicação móvel, e é mais apropriada para análise a jusante.

Arquitetura

Diagrama de arquitetura Descarregue um SVG desta arquitetura.

Fluxo de dados

  1. Os dados podem vir de várias fontes, tais como Os Centros de Eventos para grandes volumes de ingestão de dados, ou dados que são enviados para o Blob Storage. Uma App de Função Azure é ativada à medida que novos dados são recebidos.
  2. A App de Função Azure chama a API de Análise de Texto em Serviços Cognitivos Azure para analisar os dados (por exemplo, para Análise de Sentimento). Os resultados da análise são devolvidos no formato JSON.
    • A API text Analytics pode detetar a linguagem do utilizador, frases-chave usadas numa revisão, identificar entidades nomeadas específicas e entender o que os clientes realmente sentem sobre os produtos que compraram.
  3. A App Azure Function armazena os dados e resulta da Text Analytics na Base de Dados Azure para o MySQL.
  4. Os modelos de Processamento de Linguagem Natural de Aprendizagem Profunda (NLP) podem então ser aplicados nos conhecimentos da API a partir de PostgreSQL - ou os dados brutos iniciais - através do Azure Machine Learning Studio
    • Se estiver a aproximar-se da componente de machine learning desta arquitetura com uma perspetiva sem código, pode implementar mais operações de análise de texto nos dados, como hashing de funcionalidades, Word2Vetor e extração n-gram. Em vez disso, pode utilizar o seu modelo NLP de código aberto favorito se preferir uma abordagem de código primeiro e executar o seu modelo como uma Experiência em Aprendizagem automática Azure.
    • Os resultados desta análise adicional de ML são guardados de volta para PostgreSQL
  5. Finalmente, insights interpretáveis pelo homem podem ser explorados no Power BI através do conector PostgreSQL.

Componentes

Considerações

Azure Cognitive Services Text Analytics API tem um tamanho máximo de 5120 caracteres para um único documento e um tamanho máximo de pedido de 1 MB. Ver os limites de dados e taxas.

Dependendo do volume e da velocidade dos dados serem ingressados, pode selecionar um dos três modos de implementação: servidor único, flexível e Hyperscale (Citus). Assumindo que estaria a extrair grandes cargas de trabalho de opiniões e avaliações dos clientes, a Hyperscale é uma solução recomendada. Explore a Base de Dados de Azure para o Módulo de Aprendizagem Pós-CriseQL para entender quando utilizar cada modo de implantação.

Segurança

Todos os dados em PostgreSQL são automaticamente encriptados e registados. Pode configurar a Azure Advanced Threat Protection para uma maior mitigação de ameaças. Ler mais na Advanced Threat Protection in Azure Database for PostgreSQL.

DevOps

Pode configurar as ações do GitHub para ligar à sua base de dados Azure PostgreSQL utilizando a sua cadeia de ligação e configurando um fluxo de trabalho. Para obter mais informações sobre como fazê-lo, consulte Quickstart: Use GitHub Actions para ligar ao Azure PostgreSQL.

Além disso, pode automatizar o seu ciclo de vida Azure Machine Learning utilizando gasodutos Azure. O MLOps com Azure ML GitHub repo demonstra como operacionalizar um fluxo de trabalho MLOps e construir um pipeline CI/CD para o seu projeto.

Preços

Azure Cognitive Services Text Analytics API os preços da API são determinados pelo caso selecionado e pelo número de transações por mês. Para mais detalhes, explore aqui a calculadora de preços para Text Analytics.

Passos seguintes