Seleção da câmara para IA de visão do Azure IoT Edge

Um dos componentes mais críticos num sistema de imagem digitalizada é a câmara. A câmara tem de capturar e apresentar imagens que os modelos de inteligência artificial (IA) ou machine learning (ML) podem avaliar e identificar corretamente. Este artigo fornece uma compreensão aprofundada dos diferentes tipos de câmara, capacidades e considerações.

Tipos de câmaras

Os tipos de câmara incluem análise de área, análise de linhas e câmaras inteligentes incorporadas. Existem muitos fabricantes diferentes para estas câmaras. Selecione um fornecedor que se adeque às suas necessidades específicas.

Câmaras de análise de área

As câmaras de análise de área geram uma imagem de câmara tradicional. Normalmente, esta câmara tem uma matriz de sensores de píxeis. A câmara captura uma imagem 2D e envia-a para o hardware IoT Edge do Azure para avaliação.

As câmaras de análise de área olham para uma área grande e são boas para detetar alterações. Exemplos de cargas de trabalho que podem utilizar câmaras de análise de área são a segurança do local de trabalho ou a deteção ou contagem de objetos num ambiente.

Câmaras de análise de linhas

Uma câmara de análise de linhas tem uma única linha de sensores lineares de pixels. A câmara tira imagens de largura de 1 pixel numa sucessão rápida, cose-as numa transmissão em fluxo de vídeo e envia o fluxo para o dispositivo IoT Edge para processamento.

As câmaras de análise de linhas são boas para cargas de trabalho de visão em que os itens estão a passar pela câmara ou precisam de ser rodados para detetar defeitos. Em seguida, a câmara de análise de linhas produz um fluxo de imagem contínuo para avaliação. Exemplos de cargas de trabalho que funcionam melhor com câmaras de análise de linha são:

• Deteção de defeitos de itens em partes que estão a mover-se num tapete rolante
• Cargas de trabalho que requerem rotação para ver um objeto cilíndrico
• Cargas de trabalho que necessitam de rotação

Câmaras inteligentes incorporadas

Uma câmara inteligente incorporada é um sistema autónomo e autónomo que pode processar, bem como adquirir imagens. As câmaras inteligentes incorporadas podem utilizar uma análise de área ou uma câmara de análise de linha para capturar imagens, embora uma câmara inteligente de análise de linha seja rara. Normalmente, estas câmaras têm uma porta de saída RS232 ou Ethernet, para que possam ser integradas diretamente num controlador lógico programável (PLC) ou noutro controlador IoT (IIoT) industrial.

Funcionalidades da câmara

Existem várias funcionalidades a considerar ao selecionar uma câmara para uma carga de trabalho de visão. As secções seguintes abordam o tamanho, a resolução e a velocidade do sensor. Outras funcionalidades da câmara a considerar incluem:

• Seleção de lentes
• Comprimento focal
• Profundidade monocromática ou de cor
• Profundidade estéreo
• Acionadores
• Tamanho físico
• Suporte

Os fabricantes de câmaras podem ajudá-lo a compreender as funcionalidades específicas necessárias para a sua aplicação.

Tamanho do sensor

O tamanho do sensor é um dos fatores mais importantes a avaliar numa câmara. O sensor é o hardware dentro de uma câmara que captura o destino e o converte em sinais, que depois produzem uma imagem. O sensor contém milhões de fotodetectores semicondutores chamados photosites.

Uma contagem de megapixéis mais alta nem sempre resulta numa imagem melhor. Por exemplo, uma câmara com 12 milhões de sites de fotografias e um sensor de 1 polegada produz uma imagem mais clara e nítida do que uma câmara com 12 milhões de sites de fotografias e um sensor de 1/2 polegadas. Normalmente, as câmaras para cargas de trabalho de imagem digitalizada têm tamanhos de sensor entre 1/4 polegadas e 1 polegada. Alguns casos podem exigir sensores muito maiores.

Escolha sensores maiores se a carga de trabalho de visão tiver:

• Uma necessidade de medições de precisão
• Condições de menor luminosidade
• Tempos de exposição mais curtos ou itens em movimento rápido

Resolução

A resolução é outro fator importante na seleção da câmara. Precisa de câmaras de resolução mais elevadas se a carga de trabalho:

• Tem de identificar funcionalidades finas, como a escrita num chip de circuito integrado
• Está a tentar detetar rostos
• Precisa de identificar veículos à distância

As imagens seguintes mostram o problema com a utilização da resolução errada para um determinado caso de utilização. Ambas as imagens foram tiradas a 6 metros do carro. As pequenas caixas vermelhas representam um pixel.

• A imagem seguinte foi tirada com 480 píxeis horizontais:

  

• A imagem seguinte foi tirada com 5184 píxeis horizontais:

  

Velocidade

Se a carga de trabalho de visão exigir a captura de muitas imagens por segundo, dois fatores são importantes. O primeiro fator é a velocidade da ligação da interface da câmara. O segundo fator é o tipo de sensor. Os sensores vêm em dois tipos, dispositivos associados a carga (CCD) e sensores de píxeis ativos (CMOS). Os sensores CMOS têm uma leitura direta dos sites de fotografias, pelo que normalmente oferecem uma taxa de fotogramas mais elevada.

Posicionamento da câmara

Os itens que precisa de capturar na carga de trabalho de visão determinam as localizações e ângulos para a colocação da câmara. A localização da câmara também pode interagir com o tipo de sensor, o tipo de lente e o tipo de corpo da câmara. Dois dos fatores mais críticos para determinar a colocação da câmara são a iluminação e o campo de vista.

Iluminação da câmara

Numa carga de trabalho de imagem digitalizada, a iluminação é fundamental para a colocação da câmara. Pode aplicar várias condições de iluminação diferentes. As condições de iluminação que são úteis para uma carga de trabalho de visão podem produzir efeitos indesejáveis numa carga de trabalho diferente.

Existem vários tipos de iluminação comuns para cargas de trabalho de imagem digitalizada:

• A iluminação direta é a condição de iluminação mais comum. A origem de luz é projetada no objeto a capturar.
• A iluminação de linhas é uma única matriz de luzes mais utilizada com câmaras de análise de linhas. A iluminação de linha cria uma única linha de luz no foco da câmara.
• A iluminação difusa ilumina um objeto, mas impede sombras duras. A iluminação difusa é utilizada principalmente em torno de objetos speculares ou reflexivos.
• A iluminação difusa axial é frequentemente utilizada com objetos altamente reflexivos ou para impedir que as sombras da parte capturem.
• A iluminação traseira é utilizada atrás do objeto, produzindo uma silhueta do objeto. A iluminação posterior é mais útil para medições, deteção de arestas ou orientação de objetos.
• A iluminação de grelha personalizada é uma condição de iluminação estruturada que define uma grelha de luz sobre o objeto. A projeção de grelha conhecida fornece medições mais precisas de componentes, peças e colocação de itens.
• A iluminação Strobe é utilizada para peças móveis de alta velocidade. O strobe tem de estar sincronizado com a câmara para fixar o objeto para avaliação. A iluminação Strobe ajuda a evitar efeitos de desfocagem do movimento.
• A iluminação de campo escuro utiliza várias luzes com ângulos diferentes para a parte a capturar. Por exemplo, se a parte estiver plana sobre um tapete rolante, as luzes estão num ângulo de 45 graus para o cinto. A iluminação de campo escuro é mais útil com objetos claros altamente refletoras e é frequentemente utilizada para deteções de rascunho de lentes.

A figura seguinte demonstra o posicionamento angular das origens de luz:

Campo de vista

No planeamento de uma carga de trabalho de visão, precisa de saber mais sobre o campo de vista (FOV) dos objetos que está a avaliar. A função FOV desempenha um papel na seleção da câmara, na seleção do sensor e na configuração da lente. Os componentes FOV incluem:

• Distância a objetos. Por exemplo, o objeto que está a ser monitorizado num tapete rolante com a câmara dois pés acima ou através de um parque de estacionamento? Os sensores de câmara e as configurações das lentes são diferentes para distâncias diferentes.
• Área de cobertura. A área que a imagem digitalizada está a tentar monitorizar é pequena ou grande? Este fator está diretamente correlacionado com a resolução, lente e tipo de sensor da câmara.
• Direção do sol. Se a carga de trabalho de imagem digitalizada estiver ao ar livre, deve considerar a direção do sol ao longo do dia. O ângulo do sol à medida que se move pode afetar o modelo de imagem digitalizada. Se a câmara obtiver luz solar directa na lente, pode ficar cega até que o ângulo do sol mude. Se o sol lançar uma sombra sobre o objeto que está a ser monitorizado, o objeto pode estar obscurecido.
• Ângulo da câmara para os objetos. Se a câmara estiver demasiado alta ou demasiado baixa, poderá não ver os detalhes que a carga de trabalho está a tentar capturar.

Interface de comunicação

Ao planear uma carga de trabalho de imagem digitalizada, é importante compreender como a saída da câmara interage com o resto do sistema. Existem várias formas padrão de as câmaras comunicarem com IoT Edge dispositivos:

• O PROTOCOLO RTSP (Real Time Streaming Protocol) é um protocolo de rede ao nível da aplicação que controla a transmissão em fluxo de servidores de vídeo. O RTSP transfere dados de vídeo em tempo real da câmara para o ponto final de computação IoT Edge através de uma ligação TCP/IP.

• O Open Network Video Interface Forum (ONVIF) é um fórum global do setor aberto que desenvolve padrões abertos para câmaras baseadas em IP. Estas normas descrevem a comunicação entre câmaras IP e sistemas a jusante, interoperabilidade e open source.

• As câmaras ligadas ao Universal Serial Bus (USB) ligam-se através da porta USB diretamente ao dispositivo de computação IoT Edge. Esta ligação é menos complexa, mas limita a distância que a câmara pode estar localizada a partir do dispositivo IoT Edge.

• A Interface de Série da Câmara (CSI) inclui várias normas da Aliança de Interface de Processador da Indústria Móvel (MIPI). A CSI descreve como comunicar entre uma câmara e um processador anfitrião. A CSI-2, lançada em 2005, tem várias camadas:

  • Camada física (C-PHY ou D-PHY)
  • Camada de fusão de pistas
  • Camada de protocolo de baixo nível
  • Camada de conversão de pixel a byte
  • Camada da aplicação

  CSI-2 v3.0 adicionou suporte para profundidade de cores RAW-24, Ligação de Série Unificada e Região de Interesse Inteligente.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

• Keith Hill | Gestor de PM Sénior

Para ver perfis do LinkedIn não públicos, inicie sessão no LinkedIn.

Passos seguintes

Aceleração de hardware na IA de visão do Azure IoT Edge