Share via

Cenários e interfaces do usuário na IA de pesquisa visual do Azure IoT Edge

  • Artigo

Este artigo final na série de IA de pesquisa visual do Azure IoT Edge discute como os usuários interagem com soluções de IoT (Internet das Coisas) e IA (inteligência artificial). O artigo também apresenta dois exemplos de cenários de IA de pesquisa visual do IoT Edge.

Interfaces do usuário

Os usuários interagem com sistemas de computador por meio de uma IU (interface do usuário). Os requisitos de IU variam de acordo com os objetivos gerais. Os sistemas de IoT geralmente têm quatro tipos de IU:

  • A IU de administrador permite acesso total ao provisionamento de dispositivos, configuração de dispositivo e solução e gerenciamento de usuários. Esses recursos podem fazer parte de uma solução ou de soluções separadas.
  • Uma IU de operador fornece acesso aos componentes operacionais da solução, como gerenciamento de dispositivos, monitoramento de alertas e configuração.
  • Uma IU de consumidor se aplica apenas a soluções voltadas para o consumidor. A IU é semelhante à interface de um operador, mas é limitada aos dispositivos que o usuário possui.
  • Uma IU de análise é um painel interativo que fornece visualizações de telemetria e outras análises de dados.

Opções de tecnologia

Aqui estão alguns dos serviços e softwares que você pode usar a fim de criar interfaces de usuário para sistemas de IA de pesquisa visual do IoT Edge:

  • O Serviço de Aplicativo do Azure é uma plataforma para os desenvolvedores criarem, implantarem e dimensionarem aplicativos web e móveis rapidamente. O Serviço de Aplicativo dá suporte a estruturas como .NET, .NET Core, Node.js, Java, PHP, Ruby ou Python. Os aplicativos podem estar em contêineres ou ser executados em qualquer sistema operacional, dispositivo móvel ou hardware do IoT Edge com suporte. A plataforma de Serviço de Aplicativo totalmente gerenciada atende aos requisitos de desempenho, segurança e conformidade de nível empresarial.

  • O Serviço do Azure SignalR adiciona comunicações de dados em tempo real e relatórios a aplicativos, sem exigir uma experiência detalhada em comunicação em tempo real. O Serviço do SignalR se integra facilmente a muitos serviços do Azure.

  • O Azure Mapas é uma tecnologia para projetos de visualização de IoT e pesquisa visual computacional. Ele permite a criação de aplicativos móveis e Web com reconhecimento de localização usando serviços geoespaciais, APIs e SDKs simples e seguros. O Azure Mapas tem inteligência de localização interna de parceiros de tecnologia em todo o mundo. Você pode oferecer experiências consistentes com base em dados geoespaciais.

  • O Microsoft Entra ID fornece logon único e autenticação multifator para proteger seus aplicativos e interfaces do usuário.

  • O Power BI é um conjunto de serviços de análise, aplicativos e conectores que transformam dados em visualizações e dashboards personalizáveis e interativos. O Power BI está disponível como um serviço gerenciado ou pacote auto-hospedado e se conecta a muitos sistemas de banco de dados e serviços de dados populares. Com o Power BI Embedded, você pode criar relatórios e dashboards voltados para o cliente e marcá-los como seus próprios aplicativos. O Power BI pode conservar recursos de desenvolvedor automatizando o gerenciamento, a implantação e o monitoramento de análise.

Cenário de usuário 1: controle de qualidade

A Contoso Boards produz placas de circuito de alta qualidade usadas em computadores. Seu produto número um é uma placa-mãe.

A Contoso Boards notou um aumento nos problemas com o posicionamento do chip na placa. Uma investigação determinou que as placas de circuito estavam sendo colocadas incorretamente na linha de montagem. A Contoso Boards precisava de uma maneira de identificar e verificar o posicionamento correto da placa de circuito.

Os cientistas de dados da Contoso Boards estavam familiarizados com o TensorFlow e queriam continuar usando-o como sua estrutura de modelo de ML principal. A Contoso Boards também queria centralizar a gestão de várias linhas de montagem que produzem as placas-mãe.

A solução da empresa se concentra na detecção de borda.

Câmera

As seguintes opções de câmera ofereceram suporte a essa carga de trabalho:

  • Posicionamento da câmera: a câmera está diretamente acima a 90 graus e a cerca de 40 cm da peça.
  • Tipo de câmera: como o sistema de transmissão tem uma movimentação relativamente lenta, a solução pode usar uma câmera de verificação de área com um obturador global.
  • Taxa de quadros: para esse caso de uso, a câmera captura cerca de 30 quadros por segundo.
  • Resolução: a fórmula para a resolução necessária é Res=(object size) / (details to capture). Com base nessa fórmula, Res=16"/8" dá 2 MP (megapixels) em x e 4 MP em y, portanto, a Contoso Boards precisa de uma câmera capaz de resolução de 4 MP.
  • Tipo de sensor: os destinos não são rápidos e exigem apenas detecção de borda, portanto, um sensor CMOS funciona bem.
  • Iluminação: a solução usa uma luz de fundo de filtro difuso em branco. Essa iluminação faz com que a peça pareça quase preta, com alto contraste para detecção de borda.
  • Cor: a cor monocromática produz as bordas mais nítidas para o modelo de detecção de IA.

A imagem a seguir mostra o que a câmera captura nesse cenário:

Imagem que mostra o que a câmera captura neste cenário de IoT Edge.

Aceleração de hardware

Com base na carga de trabalho, no uso do TensorFlow e no uso em várias linhas de montagem, o hardware baseado em GPU é a melhor opção para aceleração de hardware.

Modelo de ML

Os cientistas de dados estão mais familiarizados com o TensorFlow, portanto, aprender ONNX ou outras estruturas de ML atrasaria o desenvolvimento de modelos. O Azure Stack Edge fornece uma solução de borda gerenciada centralmente para todas as linhas de montagem.

Cenário de usuário 2: segurança

A Contoso Shipping teve vários acidentes com pedestres em suas docas de carregamento. A maioria dos acidentes aconteceu quando um caminhão saiu da doca de carregamento, e o motorista não viu um trabalhador das docas andando na frente do caminhão. A Contoso Shipping precisava de uma solução de IA de visão que pudesse observar as pessoas, prever sua direção de trajeto e alertar os motoristas sobre possíveis colisões.

A maioria dos cientistas de dados da Contoso Shipping estava familiarizada com o OpenVINO e queria reutilizar os modelos de solução em hardware futuro. A solução também era necessária para dar suporte à eficiência de energia e usar o menor número possível de câmeras. Por fim, a Contoso Shipping queria gerenciar a solução remotamente para atualizações.

Câmeras

A solução usa 11 câmeras CMOS monocromáticas e de 10 MP com invólucros IPX67 ou caixas meteorológicas, montadas em postes de 5 metros, a 30 metros dos caminhões. As seções a seguir descrevem como a Contoso Shipping determinou essas especificações.

Posicionamento da câmera

As câmeras precisavam estar a 30 metros das frentes dos caminhões. O foco da câmera tinha que estar 3 metros na frente e atrás das frentes dos caminhões, dando uma profundidade de 6 metros de foco. As leis locais de zoneamento limitaram a altura da câmera de vigilância a 6 metros.

A seguinte ilustração mostra o posicionamento da câmera para este cenário:

Ilustração do posicionamento da câmera para um cenário de IA de pesquisa visual do IoT Edge.

Resolução e campo de exibição

A solução deve capturar apenas detalhes suficientes para detectar uma pessoa no quadro. O PPF (pixels por pé, 1 pé = 0,3 metro) pode estar em torno de 15 e 20 m, em vez dos 80 PPF de que o reconhecimento facial precisa.

A fórmula do campo de exibição (FOV) é FOV=(horizontal resolution) / (PPF). Para resolução, a câmera deve usar o sensor correto para o caso de uso.

Essa solução usa lentes de câmera que permitem um FOV de 4,8 metros. Usando a fórmula anterior, um FOV de 4,8 m fornece cerca de 17,5 PPF, que se enquadra no PPF de 15 a 20 necessários. Esse FOV significa que a solução deve usar câmeras de 10 MP, que têm uma resolução horizontal de cerca de 5.184 pixels.

Como as câmeras podem olhar para um caminho de 4,8 m, uma doca de carregamento de 50 m de comprimento dividida por um FOV de 4,8 m dá câmeras de 10,3125. Portanto, a solução precisa de 11 câmeras de 5.184 pixels horizontais ou 10 MP.

Tipo de sensor

As câmeras estão ao ar livre, então o tipo de sensor não deve permitir bloom. Bloom é quando a luz atinge o sensor e o sobrecarrega, causando superexposição ou whiteout. O CMOS é o sensor preferencial.

Cor e iluminação

A Contoso Shipping opera 24 por dia, 7 dias por semana, e também deve proteger o pessoal noturno. O efeito monocromático lida com condições de pouca luz melhor que a cor. Nesse caso, as informações de cor são desnecessárias. Sensores monocromáticos também têm menor custo.

Modelo de ML

Como os cientistas de dados estão familiarizados com o OpenVINO, a solução cria modelos de dados no ONNX.

Aceleração de hardware

A distância das câmeras aos servidores é muito grande para conectividade Gigabit Ethernet ou USB, mas há uma grande rede Wi-Fi de malha. O hardware deve se conectar via Wi-Fi e usar o mínimo de energia possível.

Com base nesses requisitos, a solução usa processadores FPGA. A solução também pode usar processadores ASIC, mas os chips ASIC construídos especificamente não atendem aos requisitos de usabilidade futura.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas

Esta série de artigos descreveu como criar uma carga de trabalho de IA de pesquisa visual com o Azure IoT Edge. Confira os outros artigos desta série:

Para saber mais sobre CNNs, IA de pesquisa visual, Azure Machine Learning e Azure IoT Edge, confira a seguinte documentação:

Para obter mais arquiteturas de pesquisa visual computacional, exemplos e ideias que usam o Azure IoT, confira os seguintes artigos: