Sortie Azure Data Lake Storage Gen 1 à partir d’Azure Stream AnalyticsAzure Data Lake Storage Gen 1 output from Azure Stream Analytics

Stream Analytics prend en charge les sorties Azure Data Lake Storage Gen 1.Stream Analytics supports Azure Data Lake Storage Gen 1 outputs. Azure Data Lake Storage est un référentiel d’entreprise à très grande échelle pour les charges de travail d’analytique du Big Data.Azure Data Lake Storage is an enterprise-wide, hyperscale repository for big data analytic workloads. Vous pouvez utiliser Data Lake Storage pour stocker des données de toute taille, de tout type et de toute vitesse d’ingestion en vue d’une analyse opérationnelle et exploratoire.You can use Data Lake Storage to store data of any size, type, and ingestion speed for operational and exploratory analytics. Stream Analytics doit être autorisé à accéder à Data Lake Storage.Stream Analytics needs to be authorized to access Data Lake Storage.

La sortie Azure Data Lake Storage de Stream Analytics n’est pas disponible dans les régions Azure – Chine 21Vianet et Azure – Allemagne (T-Systems International).Azure Data Lake Storage output from Stream Analytics is not available in the Azure China 21Vianet and Azure Germany (T-Systems International) regions.

Configuration de la sortieOutput configuration

Le tableau suivant répertorie les noms de propriétés et leur description pour configurer votre sortie Data Lake Storage Gen 1.The following table lists property names and their descriptions to configure your Data Lake Storage Gen 1 output.

Nom de la propriétéProperty name DescriptionDescription
Alias de sortieOutput alias Nom convivial utilisé dans les requêtes pour diriger la sortie de la requête vers Data Lake Store.A friendly name used in queries to direct the query output to Data Lake Store.
AbonnementSubscription Abonnement qui contient votre compte Azure Data Lake Storage.The subscription that contains your Azure Data Lake Storage account.
Nom du compteAccount name Nom du compte Data Lake Store où vous envoyez votre sortie.The name of the Data Lake Store account where you're sending your output. Vous accédez à la liste déroulante des comptes Data Lake Store disponibles dans votre abonnement.You're presented with a drop-down list of Data Lake Store accounts that are available in your subscription.
Modèle de préfixe de chemin d’accèsPath prefix pattern Chemin de fichier utilisé pour écrire vos fichiers dans le compte Data Lake Store spécifié.The file path that's used to write your files within the specified Data Lake Store account. Vous pouvez spécifier une ou plusieurs instances des variables {date} et {time} :You can specify one or more instances of the {date} and {time} variables:
  • Exemple 1 : dossier1/journaux/{date}/{heure}Example 1: folder1/logs/{date}/{time}
  • Exemple 2 : dossier1/journaux/{date}Example 2: folder1/logs/{date}

L’horodatage de la structure de dossiers créée suit l’heure UTC et pas l’heure locale.The time stamp of the created folder structure follows UTC and not local time.

Si le modèle de chemin d’accès du fichier ne se termine pas par le caractère (/), le dernier modèle du chemin d’accès du fichier est traité comme préfixe de nom de fichier.If the file path pattern doesn't contain a trailing slash (/), the last pattern in the file path is treated as a file name prefix.

De nouveaux fichiers sont créés dans les cas de figure suivants :New files are created in these circumstances:
  • modification du schéma de sortie ;Change in output schema
  • redémarrage externe ou interne d’un travail.External or internal restart of a job
Format de la dateDate format facultatif.Optional. Si le jeton de la date est utilisé dans le chemin d’accès du préfixe, vous pouvez sélectionner le format de date dans lequel vos fichiers sont organisés.If the date token is used in the prefix path, you can select the date format in which your files are organized. Exemple : AAAA/MM/JJExample: YYYY/MM/DD
Format de l’heureTime format facultatif.Optional. Si le jeton de l’heure est utilisé dans le chemin d’accès du préfixe, spécifiez le format d’heure dans lequel vos fichiers sont organisés.If the time token is used in the prefix path, specify the time format in which your files are organized. Actuellement, la seule valeur possible est HH.Currently the only supported value is HH.
Format de sérialisation de l’événementEvent serialization format Format de sérialisation pour les données de sortie.The serialization format for output data. JSON, CSV et Avro sont pris en charge.JSON, CSV, and Avro are supported.
EncodageEncoding Si vous utilisez le format CSV ou JSON, vous devez spécifier un encodage.If you're using CSV or JSON format, an encoding must be specified. UTF-8 est le seul format de codage actuellement pris en charge.UTF-8 is the only supported encoding format at this time.
DélimiteurDelimiter Applicable uniquement pour la sérialisation CSV.Applicable only for CSV serialization. Stream Analytics prend en charge un certain nombre de délimiteurs communs pour sérialiser des données CSV.Stream Analytics supports a number of common delimiters for serializing CSV data. Valeurs prises en charge : virgule, point-virgule, espace, tabulation et barre verticale.Supported values are comma, semicolon, space, tab, and vertical bar.
FormatFormat Applicable uniquement pour la sérialisation JSON.Applicable only for JSON serialization. L’expression Séparé par une ligne indique que la sortie est mise en forme de sorte que tous les objets JSON soient séparés par une nouvelle ligne.Line separated specifies that the output is formatted by having each JSON object separated by a new line. Si vous sélectionnez Séparé par une ligne, le JSON est lu un objet à la fois.If you select Line separated, the JSON is read one object at a time. Le contenu entier seul ne serait pas un JSON valide.The whole content by itself would not be a valid JSON. Le terme Tableau indique que la sortie est mise en forme en tant que tableau d’objets JSON.Array specifies that the output is formatted as an array of JSON objects. Ce tableau se ferme uniquement lorsque le travail s’arrête ou que Stream Analytics est passé à la période suivante.This array is closed only when the job stops or Stream Analytics has moved on to the next time window. En règle générale, il est préférable d’utiliser du code JSON séparé par des lignes, car il ne requiert aucun traitement spécial pendant que le fichier de sortie est écrit.In general, it's preferable to use line-separated JSON, because it doesn't require any special handling while the output file is still being written to.
Mode d'authentificationAuthentication mode Vous pouvez autoriser l’accès à votre compte Data Lake Storage en utilisant une identité managée (préversion) ou un jeton d’utilisateur.You can authorize access to your Data Lake Storage account using Managed Identity (preview) or User token. Une fois l’accès accordé, vous pouvez le révoquer en modifiant le mot de passe du compte d’utilisateur, en supprimant la sortie Data Lake Storage de ce travail ou en effaçant le travail Stream Analytics.Once you grant access, you can revoke access by changing the user account password, deleting the Data Lake Storage output for this job, or deleting the Stream Analytics job.

PartitionnementPartitioning

Pour la clé de partition, utilisez les jetons {date} et {time} dans le modèle de préfixe du chemin d’accès.For the partition key, use {date} and {time} tokens in the path prefix pattern. Choisissez un format de date, par exemple, YYYY/MM/DD, DD/MM/YYYY ou MM-DD-YYYY.Choose a date format, such as YYYY/MM/DD, DD/MM/YYYY, or MM-DD-YYYY. Utilisez HH pour le format de l’heure.Use HH for the time format. Le nombre d’enregistreurs de sortie suit le partitionnement d’entrée de requêtes entièrement parallélisables.The number of output writers follows the input partitioning for fully parallelizable queries.

Taille de lot de sortieOutput batch size

Pour obtenir la taille maximale du message, consultez Limites de Data Lake Storage.For the maximum message size, see Data Lake Storage limits. Pour optimiser la taille du lot, utilisez jusqu’à 4 Mo par opération d’écriture.To optimize batch size, use up to 4 MB per write operation.

Étapes suivantesNext steps