定期的に送られてくるJSON形式のファイルをAzure Database for MySQLに格納する方法

Question

外部から送られてくるJSON形式のファイルを10分間隔で取得してAzure Database for MySQLの中に作成したテーブルに格納したいと思っております。

Data FactoryのパイプラインでREST APIのGETでやればいいのでは、と思っているのですが、ベースURLに何を設定すればいいのかがわかりません。

また、用意するのはData Factory、Azure Database for MySQLだけで問題ないでしょうか。

Answer 1

ストレージによって構成が変わってくるため、JSONファイルの格納先について記載されてはいかがでしょうか。記載いただくと、条件を絞ることができるので回答しやすくなります。

例えばBlob storageにファイルが配置され、10分ごとにData Factoryが動作してMySQLに格納するような場合ですと、以下のURLが参考になるかと思います。

(Blob storageコネクタ) https://learn.microsoft.com/ja-jp/azure/data-factory/connector-azure-blob-storage?tabs=data-factory

(Azure Database for MySQLコネクタ) https://learn.microsoft.com/ja-jp/azure/data-factory/connector-azure-database-for-mysql?tabs=data-factory

"REST APIのGET”が何を指しているのかわかりかねるのですが、もしBlob storageのREST APIで匿名読み取りアクセスさせるのだとすれば、containerUriとしてhttps://<AccountName>.blob.core.windows.net/<ContainerName>を使うようにガイドが出ています。

必要なサービスは、ストレージを除くと

• Data Factory
• Azure Database for MySQL (Flexible Server)

が少なくとも必要であると考えます。VNet内のリソースにアクセスする必要があれば、別途考慮が必要です。