Fluxos de eventos do Microsoft Fabric - visão geral
O recurso de fluxos de eventos na experiência do Microsoft Fabric Real-Time Intelligence permite trazer eventos em tempo real para o Fabric, transformá-los e, em seguida, roteá-los para vários destinos sem escrever nenhum código (no-code). Você cria um fluxo de eventos, que é uma instância do item Eventstream na malha, adiciona fontes de dados de evento ao fluxo, opcionalmente adiciona transformações para transformar os dados de evento e, em seguida, roteia os dados para destinos suportados.
Traga eventos para o Fabric
O recurso de fluxos de eventos fornece vários conectores de origem para buscar dados de eventos de várias fontes. Há mais fontes disponíveis quando você habilita os recursos Avançados no momento da criação de um fluxo de eventos.
Importante
Os recursos aprimorados dos fluxos de eventos do Fabric estão atualmente em visualização.
| Origens | Description |
|---|---|
| Hubs de Eventos do Azure | Se você tiver um hub de eventos do Azure, poderá ingerir dados do hub de eventos no Microsoft Fabric usando o Eventstream. |
| Hub IoT do Azure | Se você tiver um hub IoT do Azure, poderá ingerir dados de IoT no Microsoft Fabric usando o Eventstream. |
| Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC) | O conector de origem CDC do Banco de Dados SQL do Azure permite capturar um instantâneo dos dados atuais em um banco de dados SQL do Azure. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| Banco de Dados PostgreSQL CDC | O conector de origem CDC (Change Data Capture) do banco de dados PostgreSQL permite capturar um instantâneo dos dados atuais em um banco de dados PostgreSQL. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| Banco de dados MySQL CDC | O conector de origem CDC (Change Data Capture Change Data Capture) do Banco de Dados MySQL do Azure permite capturar um instantâneo dos dados atuais em um banco de dados do Azure Database for MySQL. Você pode especificar as tabelas a serem monitoradas e o fluxo de eventos registra quaisquer alterações futuras no nível da linha nas tabelas. |
| Azure Cosmos DB CDC | O conector de origem CDC (Change Data Capture) do Azure Cosmos DB para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados atuais em um banco de dados do Azure Cosmos DB. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. |
| Google Cloud Pub/Sub | O Google Pub/Sub é um serviço de mensagens que permite publicar e assinar fluxos de eventos. Você pode adicionar o Google Pub/Sub como fonte ao seu fluxo de eventos para capturar, transformar e rotear eventos em tempo real para vários destinos no Fabric. |
| Amazon Kinesis Data Streams | O Amazon Kinesis Data Streams é um serviço de ingestão e processamento de dados altamente escalável e durável, otimizado para streaming de dados. Ao integrar o Amazon Kinesis Data Streams como uma fonte em seu fluxo de eventos, você pode processar facilmente fluxos de dados em tempo real antes de roteá-los para vários destinos no Fabric. |
| Nuvem confluente Kafka | Confluent Cloud Kafka é uma plataforma de streaming que oferece poderosas funcionalidades de streaming e processamento de dados usando o Apache Kafka. Ao integrar o Confluent Cloud Kafka como uma fonte em seu fluxo de eventos, você pode processar perfeitamente fluxos de dados em tempo real antes de roteá-los para vários destinos no Fabric. |
| Eventos do Armazenamento de Blobs do Azure | Os eventos do Armazenamento de Blobs do Azure são acionados quando um cliente cria, substitui ou exclui um blob. O conector permite vincular eventos de armazenamento de Blob a eventos de malha no hub em tempo real. Você pode converter esses eventos em fluxos de dados contínuos e transformá-los antes de roteá-los para vários destinos no Fabric. |
| Eventos do Item do Espaço de Trabalho de Malha | Os eventos de Item de Espaço de Trabalho de Malha são eventos de Malha discretos que ocorrem quando são feitas alterações no seu Espaço de Trabalho de Malha. Essas alterações incluem a criação, atualização ou exclusão de um item de malha. Com os fluxos de eventos do Fabric, você pode capturar esses eventos do espaço de trabalho do Fabric, transformá-los e roteá-los para vários destinos no Fabric para análise adicional. |
| Dados de exemplo | Você pode escolher Bicicletas, Táxi Amarelo ou eventos do Mercado de Ações como uma fonte de dados de exemplo para testar a ingestão de dados durante a configuração de um fluxo de eventos. |
| Ponto de extremidade personalizado (antigo aplicativo personalizado) | O recurso de ponto de extremidade personalizado permite que seus aplicativos ou clientes Kafka se conectem ao Eventstream usando uma cadeia de conexão, permitindo a ingestão suave de dados de streaming no Eventstream. |
Processar eventos usando a experiência sem código
A experiência de arrastar e soltar oferece uma maneira intuitiva e fácil de criar a lógica de processamento, transformação e roteamento de dados de eventos sem escrever nenhum código. Um diagrama de fluxo de dados de ponta a ponta em um fluxo de eventos pode fornecer uma compreensão abrangente do fluxo de dados e da organização. O editor do processador de eventos é uma experiência sem código que permite arrastar e soltar para projetar a lógica de processamento de dados do evento.
| Transformação | Description |
|---|---|
| Filtro | Use a transformação Filter para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação mantém os valores que correspondem à condição selecionada, como is null ou is not null. |
| Gerir campos | A transformação Gerenciar campos permite adicionar, remover, alterar o tipo de dados ou renomear campos provenientes de uma entrada ou outra transformação. |
| Agregação | Use a transformação Agregada para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite renomear essas colunas calculadas e filtrar ou fatiar a agregação com base em outras dimensões em seus dados. Você pode ter uma ou mais agregações na mesma transformação. |
| Agrupar por | Use a transformação Agrupar por para calcular agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como se a transformação Agregada permitisse a renomeação de colunas, mas fornece mais opções para agregação e inclui opções mais complexas para janelas de tempo. Como o Agregado, você pode adicionar mais de uma agregação por transformação. |
| União | Use a transformação União para conectar dois ou mais nós e adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não correspondem são descartados e não são incluídos na saída. |
| Expandir | Use a transformação Expandir matriz para criar uma nova linha para cada valor dentro de uma matriz. |
| Participar | Use a transformação Join para combinar dados de dois fluxos com base em uma condição correspondente entre eles. |
Se você habilitou os recursos Avançados ao criar um fluxo de eventos, as operações de transformação serão suportadas para todos os destinos (com o fluxo derivado atuando como uma ponte intermediária para alguns destinos, como ponto de extremidade personalizado, Reflex). Caso contrário, as operações de transformação estarão disponíveis apenas para os destinos Lakehouse e KQL Database (processamento de eventos antes da ingestão).
Encaminhar eventos para destinos
O recurso Fluxos de eventos de malha oferece suporte ao envio de dados para os seguintes destinos suportados.
| Destino | Description |
|---|---|
| Ponto de extremidade personalizado (antigo aplicativo personalizado) | Com esse destino, você pode facilmente rotear seus eventos em tempo real para um ponto de extremidade personalizado. Você pode conectar seus próprios aplicativos ao fluxo de eventos e consumir os dados do evento em tempo real. Esse destino é útil quando você deseja enviar dados em tempo real para um sistema externo fora do Microsoft Fabric. |
| Base de dados KQL | Esse destino permite que você ingira seus dados de eventos em tempo real em um banco de dados KQL, onde você pode usar a poderosa Kusto Query Language (KQL) para consultar e analisar os dados. Com os dados no banco de dados Kusto, você pode obter insights mais profundos sobre seus dados de eventos e criar relatórios e painéis avançados. Você pode escolher entre dois modos de ingestão: Ingestão direta e Processamento de eventos antes da ingestão. |
| Casa do Lago | Este destino dá-lhe a capacidade de transformar os seus eventos em tempo real antes de os ingerir na sua casa do lago. Os eventos em tempo real são convertidos para o formato Delta Lake e, em seguida, armazenados nas tabelas designadas lakehouse. Este destino suporta cenários de armazenamento de dados. |
| Reflexo | Este destino permite-lhe ligar diretamente os seus dados de eventos em tempo real a um Reflex. Reflex é um tipo de agente inteligente que contém todas as informações necessárias para se conectar aos dados, monitorar as condições e agir. Quando os dados atingem determinados limites ou correspondem a outros padrões, o Reflex toma automaticamente as medidas apropriadas, como alertar os usuários ou iniciar fluxos de trabalho do Power Automatic. |
| Fluxo derivado | Fluxo derivado é um tipo especializado de destino que você pode criar depois de adicionar operações de fluxo, como Filtrar ou Gerenciar Campos, a um fluxo de eventos. O fluxo derivado representa o fluxo padrão transformado após o processamento do fluxo. Você pode rotear o fluxo derivado para vários destinos na malha e exibir o fluxo derivado no hub em tempo real. |
Você pode anexar vários destinos em um fluxo de eventos para receber simultaneamente dados de seus fluxos de eventos sem interferir uns com os outros.
Nota
Recomendamos que você use o recurso de fluxos de eventos do Microsoft Fabric com pelo menos 4 unidades de capacidade (SKU: F4)
Capacidades melhoradas (pré-visualização)
Há mais recursos, fontes e destinos disponíveis quando você ativa a opção Recursos avançados (visualização) ao criar um fluxo de eventos. Use as guias Recursos aprimorados (visualização) e Recursos padrão para saber mais sobre fontes e destinos adicionais suportados com os recursos aprimorados.
Aqui estão alguns outros recursos notáveis dos recursos aprimorados (visualização):
- Modo de edição e visualização dinâmica. Explore dois modos distintos para visualizar e projetar o processamento de fluxo.
- Fluxos padrão e derivados. Crie um fluxo contínuo de fluxos com o formato que você projeta, com um processador de eventos que pode ser consumido posteriormente no hub em tempo real.
- Roteamento de fluxo de dados com base no conteúdo. Transforme e roteie seus fluxos de dados em qualquer lugar dentro do Fabric com base no conteúdo do fluxo de dados que você projetou com o processador de eventos.
Conteúdos relacionados
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários