Configurar entradas e saídas
Todos os trabalhos do Azure Stream Analytics incluem, pelo menos, uma entrada e uma saída. Na maioria dos casos, as entradas referenciam fontes de dados de streaming (embora você também possa definir entradas para dados de referência estática a fim de aumentar os dados de evento transmitidos). As saídas determinam o local para o qual os resultados da consulta de processamento de fluxo serão enviados. No caso da ingestão de dados no Azure Synapse Analytics, em geral, a saída referencia um contêiner do Azure Data Lake Storage Gen2 ou uma tabela em um banco de dados de pool de SQL dedicado.
Entradas de dados de streaming
As entradas para os dados de streaming consumidos pelo Azure Stream Analytics podem incluir:
- Hubs de eventos do Azure
- Hubs IoT do Azure
- Blob do Azure ou Data Lake Gen 2 Storage
Dependendo do tipo de entrada específico, os dados de cada evento transmitido incluem os campos de dados do evento, bem como os campos de metadados específicos da entrada. Por exemplo, os dados consumidos de uma entrada dos Hubs de Eventos do Azure incluem um campo EventEnqueuedUtcTime indicando a hora em que o evento foi recebido no hub de eventos.
Observação
Para obter mais informações sobre as entradas de streaming de dados, confira Transmitir dados como uma entrada no Stream Analytics na documentação do Azure Stream Analytics.
Saídas do Azure Synapse Analytics
Caso precise carregar os resultados do processamento de fluxo em uma tabela em um pool de SQL dedicado, use uma saída do Azure Synapse Analytics. A configuração da saída inclui a identidade do pool de SQL dedicado em um workspace do Azure Synapse Analytics, detalhes de como o trabalho do Azure Stream Analytics deve estabelecer uma conexão autenticada com ele e a tabela existente na qual os dados devem ser carregados.
Em geral, a autenticação no Azure Synapse Analytics é feita por meio da autenticação do SQL Server, o que exige um nome de usuário e uma senha. Como alternativa, você pode usar uma identidade gerenciada para se autenticar. Ao usar uma saída do Azure Synapse Analytics, a configuração de trabalho do Azure Stream Analytics precisa incluir uma conta do Armazenamento do Azure na qual os metadados de autenticação para o trabalho são armazenados com segurança.
Observação
Para obter mais informações sobre como usar uma saída do Azure Synapse Analytics, confira Saída do Azure Synapse Analytics no Azure Stream Analytics na documentação do Azure Stream Analytics.
Saídas do Azure Data Lake Storage Gen2
Caso precise gravar os resultados do processamento de fluxo em um contêiner do Azure Data Lake Storage Gen2 que hospeda um data lake em um workspace do Azure Synapse Analytics, use uma saída do Armazenamento de Blobs/ADLS Gen2. A configuração da saída inclui detalhes da conta de armazenamento na qual o contêiner está definido, configurações de autenticação para se conectar a ele e detalhes dos arquivos a serem criados. Você pode especificar o formato de arquivo, incluindo os formatos CSV, JSON, Parquet e Delta. Você também pode especificar padrões personalizados para definir a hierarquia de pastas na qual os arquivos são salvos, por exemplo, usando um padrão como YYYY/MM/DD para gerar uma hierarquia de pastas com base no ano, mês e dia atuais.
Especifique as contagens mínima e máxima de linhas para cada lote, o que determina o número de arquivos de saída gerados (cada lote cria um arquivo). Configure também o modo de gravação para controlar quando os dados são gravados para uma janela de tempo, acrescentando cada linha à medida que eles chegam ou gravando todas as linhas uma vez (o que garante a entrega "exatamente uma vez").
Observação
Para obter mais informações sobre como usar uma saída do Armazenamento de Blobs/do ADLS Gen2, confira Saída do Armazenamento de Blobs e do Azure Data Lake Gen2 no Azure Stream Analytics na documentação do Azure Stream Analytics.