Výstupy z Azure Stream Analytics

Azure Stream Analytics úloha se skládá ze vstupu, dotazu a výstupu. Existuje několik typů výstupu, do kterých můžete posílat transformovaná data. V tomto článku jsou uvedené podporované výstupy Stream Analytics. Pokud navrhujete Stream Analytics dotaz, přečtěte si název výstupu pomocí klauzule into. Můžete použít jeden výstup na úlohu nebo více výstupů na úlohu streamování (Pokud je potřebujete) přidáním více klauzulí do dotazu.

pokud chcete vytvářet, upravovat a testovat Stream Analytics výstupy úlohy, můžete použít Azure Portal, Azure PowerShell, rozhraní .net API REST APIa Visual Studio.

Některé typy výstupů podporují dělenía velikosti výstupních dávek se liší při optimalizaci propustnosti. V následující tabulce jsou uvedeny funkce, které jsou podporovány pro každý typ výstupu:

Dělení

Stream Analytics podporuje oddíly pro všechny výstupy s výjimkou Power BI. Další informace o klíčích oddílů a počtu modulů pro zápis výstupu najdete v článku konkrétního typu výstupu, který vás zajímá. Všechny články v produkci jsou propojeny v předchozí části.

Kromě toho pro pokročilejší optimalizaci oddílů je možné počet zapisovačů výstupu ovládat pomocí INTO <partition count> klauzule (viz v tématu) v dotazu , což může být užitečné při dosahování požadované topologie úlohy. Pokud váš výstupní adaptér není rozdělený na oddíly, způsobí nedostatek dat v jednom vstupním oddílu zpoždění až do doby, kdy se doba doručení uvolní. V takových případech se výstup sloučí do jediného zapisovače, což může způsobit kritické body ve vašem kanálu. Další informace o zásadách pozdního doručení najdete v tématu Azure Stream Analytics požadavky na pořadí událostí.

Velikost výstupní dávky

Všechny výstupy podporují dávkování, ale explicitně se podporují jenom některé velikosti dávky. Azure Stream Analytics používá dávky variabilní velikosti pro zpracování událostí a zápis do výstupů. Modul Stream Analytics obvykle nezapisuje jednu zprávu najednou a využívá dávky k efektivitě. Když je vysoká míra příchozích i odchozích událostí, Stream Analytics využívá větší počet dávek. Když je přenosová rychlost nízká, používá menší dávky k udržení nízké latence.

Vlastnosti Parquet výstupního okna dávkování

Při použití Azure Resource Managerho nasazení šablony nebo REST API jsou dvě vlastnosti dávkového okna:

1. timeWindow

   Maximální doba čekání na dávku. Hodnota by měla být řetězec TimeSpan. Například "00:02:00" na dvě minuty. Po uplynutí této doby se dávka zapíše do výstupu i v případě, že požadavek na minimální řádky není splněn. Výchozí hodnota je 1 minuta a povolené maximum je 2 hodiny. Pokud váš výstup objektu BLOB má četnost vzorů cesty, doba čekání nesmí být vyšší než časový rozsah oddílu.

2. sizeWindow

   Počet minimálních řádků na dávku Pro Parquet Každá dávka vytvoří nový soubor. Aktuální výchozí hodnota je 2 000 řádků a povolené maximum je 10 000 řádků.

Tyto vlastnosti dávkového okna jsou podporovány pouze pomocí rozhraní API verze 2017-04-01-Preview. Níže je uveden příklad datové části JSON pro REST API volání:

"type": "stream",
      "serialization": {
        "type": "Parquet",
        "properties": {}
      },
      "timeWindow": "00:02:00",
      "sizeWindow": "2000",
      "datasource": {
        "type": "Microsoft.Storage/Blob",
        "properties": {
          "storageAccounts" : [
          {
            "accountName": "{accountName}",
            "accountKey": "{accountKey}",
          }
          ],

Další kroky