クイック スタート:Azure portal を使用して Azure HDInsight 内に Apache Kafka クラスターを作成するQuickstart: Create Apache Kafka cluster in Azure HDInsight using Azure portal

Apache Kafka は、オープンソースの分散ストリーミング プラットフォームです。Apache Kafka is an open-source, distributed streaming platform. 発行/サブスクライブ メッセージ キューと同様の機能を備えているため、メッセージ ブローカーとして多く使われています。It's often used as a message broker, as it provides functionality similar to a publish-subscribe message queue.

このクイックスタートでは、Azure Portal を使用して Apache Kafka クラスターを作成する方法について説明します。In this quickstart, you learn how to create an Apache Kafka cluster using the Azure portal. Apache Kafka を使って、付属のユーティリティでメッセージを送受信する方法についても説明します。You also learn how to use included utilities to send and receive messages using Apache Kafka.

警告

HDInsight クラスターの料金は、そのクラスターを使用しているかどうかに関係なく、分単位で課金されます。Billing for HDInsight clusters is prorated per minute, whether you use them or not. 使用後は、クラスターを必ず削除してください。Be sure to delete your cluster after you finish using it. HDInsight クラスターを削除する方法」をご覧ください。See how to delete an HDInsight cluster.

Apache Kafka API は、同じ仮想ネットワーク内のリソースによってのみアクセスできます。The Apache Kafka API can only be accessed by resources inside the same virtual network. このクイック スタートでは、SSH を使って直接クラスターにアクセスします。In this quickstart, you access the cluster directly using SSH. 他のサービス、ネットワーク、または仮想マシンを Apache Kafka に接続するには、まず、仮想ネットワークを作成してから、ネットワーク内にリソースを作成する必要があります。To connect other services, networks, or virtual machines to Apache Kafka, you must first create a virtual network and then create the resources within the network. 詳しくは、仮想ネットワークを使用した Apache Kafka への接続に関するドキュメントをご覧ください。For more information, see the Connect to Apache Kafka using a virtual network document.

Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。If you don't have an Azure subscription, create a free account before you begin.

前提条件Prerequisites

SSH クライアントAn SSH client. 詳細については、SSH を使用して HDInsight (Apache Hadoop) に接続する方法に関するページを参照してください。For more information, see Connect to HDInsight (Apache Hadoop) using SSH.

Apache Kafka クラスターを作成するCreate an Apache Kafka cluster

HDInsight クラスターで Apache Kafka を作成するには、次の手順に従います。To create an Apache Kafka on HDInsight cluster, use the following steps:

  1. Azure Portal にサインインします。Sign in to the Azure portal.

  2. 左側のメニューから、 [+ リソースの作成] > [Analytics] > [HDInsight] に移動します。From the left menu, navigate to + Create a resource > Analytics > HDInsight.

    Azure portal での HDInsight リソースの作成

  3. [基本] で次の値を入力または選択します。Under Basics, enter or select the following values:

    プロパティProperty 説明Description
    SubscriptionSubscription Azure サブスクリプションを選択します。Select your Azure subscription.
    Resource groupResource group リソース グループを作成するか、既存のリソース グループを選択します。Create a resource group or select an existing resource group. リソース グループとは、Azure コンポーネントのコンテナーです。A resource group is a container of Azure components. この場合、リソース グループには、HDInsight クラスターおよび依存する Azure ストレージ アカウントが含まれています。In this case, the resource group contains the HDInsight cluster and the dependent Azure Storage account.
    クラスター名Cluster name Hadoop クラスターの名前を入力します。Enter a name for the Hadoop cluster. HDInsight のすべてのクラスターでは同じ DNS 名前空間が共有されるため、この名前は一意である必要があります。Because all clusters in HDInsight share the same DNS namespace this name needs to be unique. この名前は、文字、数字、ハイフンを含む最大 59 文字で構成できます。The name can consist of up to 59 characters including letters, numbers, and hyphens. 名前の先頭と末尾の文字をハイフンにすることはできません。The first and last characters of the name cannot be hyphens.
    LocationLocation クラスターを作成する Azure の場所を選択します。Select an Azure location where you want to create your cluster. パフォーマンスを向上させるため、お近くの場所を選択してください。Choose a location closer to you for better performance.
    クラスターの種類Cluster type [クラスターの種類の選択] を選択します。Select Select cluster type. クラスターの種類として [Kafka] を選択します。Then select Kafka as the cluster type.
    VersionVersion クラスターの種類には、既定のバージョンが指定されます。The default version for the cluster type will be specified. 異なるバージョンを指定したい場合は、ドロップダウン リストから選択してください。Select from the drop-down list if you wish to specify a different version.
    クラスター ログイン ユーザー名とパスワードCluster login username and password 既定のログイン名は admin です。パスワードは 10 文字以上で、数字、大文字、小文字、英数字以外の文字 (' " ` を除く) が少なくとも 1 つずつ含まれる必要があります。The default login name is admin. The password must be at least 10 characters in length and must contain at least one digit, one uppercase, and one lower case letter, one non-alphanumeric character (except characters ' " ` ). "Pass@word1" などのよく使われるパスワードを指定していないことを確認してください。Make sure you do not provide common passwords such as "Pass@word1".
    Secure Shell (SSH) ユーザー名Secure Shell (SSH) username 既定のユーザー名は sshuser です。The default username is sshuser. SSH ユーザー名に別の名前を指定できます。You can provide another name for the SSH username.
    SSH にクラスター ログイン パスワードを使用するUse cluster login password for SSH クラスター ログイン ユーザーに指定したのと同じパスワードを SSH ユーザーに使用する場合は、このチェック ボックスをオンにします。Select this check box to use the same password for SSH user as the one you provided for the cluster login user.

    Azure portal でのクラスター作成の基本

    各 Azure リージョン (場所) は "障害ドメイン" を提供します。Each Azure region (location) provides fault domains. 障害ドメインとは、Azure データ センター内にある基になるハードウェアの論理的なグループです。A fault domain is a logical grouping of underlying hardware in an Azure data center. 各障害ドメインは、一般的な電源とネットワーク スイッチを共有します。Each fault domain shares a common power source and network switch. HDInsight クラスター内のノードを実装する仮想マシンと管理ディスクは、これらの障害ドメインに分散されます。The virtual machines and managed disks that implement the nodes within an HDInsight cluster are distributed across these fault domains. このアーキテクチャにより、物理的なハードウェア障害の潜在的な影響が制限されます。This architecture limits the potential impact of physical hardware failures.

    データの高可用性を実現するために、3 つの障害ドメイン を含むリージョン (場所) を選択します。For high availability of data, select a region (location) that contains three fault domains. リージョン内の障害ドメインの数については、Linux 仮想マシンの可用性に関するトピックを参照してください。For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

    ページの下部にある [次へ: ストレージ >>] タブを選択して、ストレージの設定に進みます。Select the Next: Storage >> tab to advance to the storage settings.

  4. [ストレージ] タブから次の値を指定します。From the Storage tab, provide the following values:

    プロパティProperty 説明Description
    プライマリ ストレージの種類Primary storage type 既定値の [Azure Storage] を使用します。Use the default value Azure Storage.
    メソッドの選択Selection method 既定値の [一覧から選択する] を使用します。Use the default value Select from list.
    プライマリ ストレージ アカウントPrimary storage account ドロップダウン リストを使用して既存のストレージ アカウントを選択するか、または [新規作成] を選択します。Use the drop-down list to select an existing storage account, or select Create new. 新しいアカウントの作成時には、名前の長さは 3 から 24 文字とし、数字と小文字のみを使用できますIf you create a new account, the name must be between 3 and 24 characters in length, and can include numbers and lowercase letters only
    コンテナーContainer 自動入力されている値を使用します。Use the autopopulated value.

    HDInsight Linux の使用。クラスターのストレージの値の指定HDInsight Linux get started provide cluster storage values

    [セキュリティとネットワーク] タブを選択します。Select the Security + networking tab.

  5. このクイック スタートでは、既定のセキュリティ設定をそのまま使用します。For this quickstart, leave the default security settings. Enterprise セキュリティ パッケージの詳細については、「Azure Active Directory Domain Services を使用して、Enterprise セキュリティ パッケージで HDInsight クラスターを構成する」を参照してください。To learn more about Enterprise Security package, visit Configure a HDInsight cluster with Enterprise Security Package by using Azure Active Directory Domain Services. Apache Kafka のディスク暗号化に独自のキーを使用する方法については、「Azure HDInsight で Apache Kafka 用に自分のキーを持ち込む」を参照してください。To learn how to use your own key for Apache Kafka Disk Encryption, visit Bring your own key for Apache Kafka on Azure HDInsight

    クラスターを仮想ネットワークに接続したい場合は、 [仮想ネットワーク] ボックスの一覧からいずれかの仮想ネットワークを選択します。If you would like to connect your cluster to a virtual network, select a virtual network from the Virtual network dropdown.

    仮想ネットワークにクラスターを追加する

    [Configuration + pricing](構成と価格) タブを選択します。Select the Configuration + pricing tab.

  6. HDInsight 上の Apache Kafka の可用性を確保するため、 [ワーカー ノード][ノード数] エントリを 3 以上に設定する必要があります。To guarantee availability of Apache Kafka on HDInsight, the number of nodes entry for Worker node must be set to 3 or greater. 既定値は 4 ですが、The default value is 4.

    [Standard disks per worker node](ワーカー ノードごとの標準ディスク数) は、HDInsight における Apache Kafka のスケーラビリティを構成する項目です。The Standard disks per worker node entry configures the scalability of Apache Kafka on HDInsight. HDInsight 上の Apache Kafka は、クラスターの仮想マシンのローカル ディスクを使って、データを保存します。Apache Kafka on HDInsight uses the local disk of the virtual machines in the cluster to store data. Apache Kafka は I/O が多いため、Azure Managed Disks を使ってノードごとに高いスループットと多くの記憶域を提供します。Apache Kafka is I/O heavy, so Azure Managed Disks are used to provide high throughput and more storage per node. マネージド ディスクの種類は、Standard (HDD) または Premium (SSD) です。The type of managed disk can be either Standard (HDD) or Premium (SSD). ディスクの種類は、ワーカー ノード (Apache Kafka ブローカー) によって使われる VM のサイズによって異なります。The type of disk depends on the VM size used by the worker nodes (Apache Kafka brokers). DS および GS シリーズの VM では、Premium ディスクが自動的に使われます。Premium disks are used automatically with DS and GS series VMs. 他の種類の VM はすべて Standard を使います。All other VM types use standard.

    Apache Kafka のクラスター サイズの設定

    [確認および作成] タブを選択します。Select the Review + create tab.

  7. クラスターの構成を確認します。Review the configuration for the cluster. 正しくない設定があれば変更します。Change any settings that are incorrect. 最後に、 [作成] を選択してクラスターを作成します。Finally, select Create to create the cluster.

    Kafka クラスター構成の概要

    クラスターの作成には最大で 20 分かかります。It can take up to 20 minutes to create the cluster.

クラスターへの接続Connect to the cluster

  1. Apache Kafka クラスターのプライマリ ヘッド ノードに接続するには、次のコマンドを使用します。To connect to the primary head node of the Apache Kafka cluster, use the following command. sshuser を SSH ユーザー名で置き換えます。Replace sshuser with the SSH user name. mykafka を実際の Apache Kafka クラスターの名前に置き換えます。Replace mykafka with the name of your Apache Kafkacluster.

    ssh sshuser@mykafka-ssh.azurehdinsight.net
    
  2. クラスターに初めて接続すると、ホストの信頼性を確立できないという警告が SSH クライアントに表示されることがあります。When you first connect to the cluster, your SSH client may display a warning that the authenticity of the host can't be established. プロンプトが表示されたら、「yes」と入力して、Enter キーを押し、SSH クライアントの信頼済みサーバーの一覧にこのホストを追加します。When prompted type yes, and then press Enter to add the host to your SSH client's trusted server list.

  3. メッセージが表示されたら、SSH ユーザーのパスワードを入力します。When prompted, enter the password for the SSH user.

    接続されると、次のテキストのような情報が表示されます。Once connected, you see information similar to the following text:

    Authorized uses only. All activity may be monitored and reported.
    Welcome to Ubuntu 16.04.4 LTS (GNU/Linux 4.13.0-1011-azure x86_64)
    
     * Documentation:  https://help.ubuntu.com
     * Management:     https://landscape.canonical.com
     * Support:        https://ubuntu.com/advantage
    
      Get cloud support with Ubuntu Advantage Cloud Guest:
        https://www.ubuntu.com/business/services/cloud
    
    83 packages can be updated.
    37 updates are security updates.
    
    
    Welcome to Apache Kafka on HDInsight.
    
    Last login: Thu Mar 29 13:25:27 2018 from 108.252.109.241
    

Apache Zookeeper およびブローカーのホスト情報を取得するGet the Apache Zookeeper and Broker host information

Kafka を使うときは、Apache Zookeeper ホストと "ブローカー" ホストについて理解しておく必要があります。When working with Kafka, you must know the Apache Zookeeper and Broker hosts. これらのホストは、Apache Kafka の API や、Kafka に付属するユーティリティの多くで使用されます。These hosts are used with the Apache Kafka API and many of the utilities that ship with Kafka.

このセクションでは、クラスターで Apache Ambari REST API からホスト情報を取得します。In this section, you get the host information from the Apache Ambari REST API on the cluster.

  1. コマンド ライン JSON プロセッサの jq をインストールします。Install jq, a command-line JSON processor. このユーティリティは JSON ドキュメントを解析するためのものであり、ホスト情報の解析に役立ちます。This utility is used to parse JSON documents, and is useful in parsing the host information. 開いた SSH 接続から次のコマンドを入力して、jq をインストールします。From the open SSH connection, enter following command to install jq:

    sudo apt -y install jq
    
  2. パスワード変数を設定します。Set up password variable. PASSWORD をクラスターのログイン パスワードに置き換えてから、次のコマンドを入力します。Replace PASSWORD with the cluster login password, then enter the command:

    export password='PASSWORD'
    
  3. 大文字と小文字が正しく区別されたクラスター名を抽出します。Extract the correctly cased cluster name. クラスターの作成方法によっては、クラスター名の実際の大文字小文字の区別が予想と異なる場合があります。The actual casing of the cluster name may be different than you expect, depending on how the cluster was created. このコマンドは、実際の大文字小文字の区別を取得し、変数に格納します。This command will obtain the actual casing, and then store it in a variable. 次のコマンドを入力します。Enter the following command:

    export clusterName=$(curl -u admin:$password -sS -G "http://headnodehost:8080/api/v1/clusters" | jq -r '.items[].Clusters.cluster_name')
    

    注意

    クラスターの外部からこのプロセスを実行している場合は、クラスター名を格納するための別の手順があります。If you're doing this process from outside the cluster, there is a different procedure for storing the cluster name. Azure portal からクラスター名を小文字で取得します。Get the cluster name in lower case from the Azure portal. その後、次のコマンドの <clustername> をクラスター名に置き換えて、export clusterName='<clustername>' を実行します。Then, substitute the cluster name for <clustername> in the following command and execute it: export clusterName='<clustername>'.

  4. Zookeeper ホスト情報で環境変数を設定するには、次のコマンドを使用します。To set an environment variable with Zookeeper host information, use the command below. このコマンドはすべての Zookeeper ホストを取得してから、最初の 2 つのエントリのみを返します。The command retrieves all Zookeeper hosts, then returns only the first two entries. これは、1 つのホストに到達できない場合に、いくらかの冗長性が必要なためです。This is because you want some redundancy in case one host is unreachable.

    export KAFKAZKHOSTS=$(curl -sS -u admin:$password -G https://$clusterName.azurehdinsight.net/api/v1/clusters/$clusterName/services/ZOOKEEPER/components/ZOOKEEPER_SERVER | jq -r '["\(.host_components[].HostRoles.host_name):2181"] | join(",")' | cut -d',' -f1,2);
    

    注意

    このコマンドでは、Ambari アクセスが必要です。This command requires Ambari access. クラスターが NSG の背後にある場合は、Ambari にアクセスできるコンピューターからこのコマンドを実行します。If your cluster is behind an NSG, run this command from a machine that can access Ambari.

  5. 環境変数が正しく設定されていることを確認するには、次のコマンドを使用します。To verify that the environment variable is set correctly, use the following command:

    echo $KAFKAZKHOSTS
    

    このコマンドでは、次のテキストのような情報が返されます。This command returns information similar to the following text:

    zk0-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181,zk2-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181

  6. Apache Kafka ブローカー ホスト情報で環境変数を設定するには、次のコマンドを使用します。To set an environment variable with Apache Kafka broker host information, use the following command:

    export KAFKABROKERS=$(curl -sS -u admin:$password -G https://$clusterName.azurehdinsight.net/api/v1/clusters/$clusterName/services/KAFKA/components/KAFKA_BROKER | jq -r '["\(.host_components[].HostRoles.host_name):9092"] | join(",")' | cut -d',' -f1,2);
    

    注意

    このコマンドでは、Ambari アクセスが必要です。This command requires Ambari access. クラスターが NSG の背後にある場合は、Ambari にアクセスできるコンピューターからこのコマンドを実行します。If your cluster is behind an NSG, run this command from a machine that can access Ambari.

  7. 環境変数が正しく設定されていることを確認するには、次のコマンドを使用します。To verify that the environment variable is set correctly, use the following command:

    echo $KAFKABROKERS
    

    このコマンドでは、次のテキストのような情報が返されます。This command returns information similar to the following text:

    wn1-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092,wn0-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092

Apache Kafka トピックの管理Manage Apache Kafka topics

Kafka は、"トピック" にデータのストリームを格納します。Kafka stores streams of data in topics. kafka-topics.sh ユーティリティを使って、トピックを管理できます。You can use the kafka-topics.sh utility to manage topics.

  • トピックを作成するには、SSH 接続で次のコマンドを使います。To create a topic, use the following command in the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 3 --partitions 8 --topic test --zookeeper $KAFKAZKHOSTS
    

    このコマンドを使用すると、$KAFKAZKHOSTS に格納されているホスト情報を使用して Zookeeper に接続されます。This command connects to Zookeeper using the host information stored in $KAFKAZKHOSTS. 次に、test という名前の Apache Kafka トピックが作成されます。It then creates an Apache Kafka topic named test.

    • このトピックに格納されるデータは、8 つのパーティションに分割されます。Data stored in this topic is partitioned across eight partitions.

    • 各パーティションは、クラスター内の 3 つのワーカー ノード間でレプリケートされます。Each partition is replicated across three worker nodes in the cluster.

      3 つの障害ドメインを提供する Azure リージョンにクラスターを作成した場合は、3 のレプリケーション係数を使います。If you created the cluster in an Azure region that provides three fault domains, use a replication factor of 3. そうでない場合は、4 のレプリケーション係数を使います。Otherwise, use a replication factor of 4.

      3 つの障害ドメインがあるリージョンでは、3 のレプリケーション係数により、レプリカを障害ドメインに分散できます。In regions with three fault domains, a replication factor of 3 allows replicas to be spread across the fault domains. 2 つの障害ドメインのリージョンでは、4 のレプリケーション係数により、ドメイン全体に均等にレプリカが分散されます。In regions with two fault domains, a replication factor of four spreads the replicas evenly across the domains.

      リージョン内の障害ドメインの数については、Linux 仮想マシンの可用性に関するトピックを参照してください。For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

      Apache Kafka は、Azure 障害ドメインを認識しません。Apache Kafka is not aware of Azure fault domains. トピック用にパーティションのレプリカを作成すると、レプリカが適切に分散されず、高可用性が実現しない場合があります。When creating partition replicas for topics, it may not distribute replicas properly for high availability.

      高可用性を確保するには、Apache Kafka パーティション再調整ツールを使用してください。To ensure high availability, use the Apache Kafka partition rebalance tool. このツールは、Apache Kafka クラスターのヘッド ノードへの SSH 接続から実行する必要があります。This tool must be ran from an SSH connection to the head node of your Apache Kafka cluster.

      Apache Kafka データの最高の可用性のために、次のときにトピックのパーティションのレプリカを再調整する必要があります。For the highest availability of your Apache Kafka data, you should rebalance the partition replicas for your topic when:

      • 新しいトピックまたはパーティションの作成You create a new topic or partition

      • クラスターのスケールアップYou scale up a cluster

  • トピックの一覧を表示するには、次のコマンドを使います。To list topics, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper $KAFKAZKHOSTS
    

    このコマンドは、Apache Kafka クラスターで使用可能なトピックの一覧を表示します。This command lists the topics available on the Apache Kafka cluster.

  • トピックを削除するには、次のコマンドを使います。To delete a topic, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --delete --topic topicname --zookeeper $KAFKAZKHOSTS
    

    このコマンドは、topicname という名前のトピックを削除します。This command deletes the topic named topicname.

    警告

    前に作成した test トピックを削除した場合は、再作しなおす必要があります。If you delete the test topic created earlier, then you must recreate it. このドキュメントの後半で使います。It is used by steps later in this document.

kafka-topics.sh ユーティリティで使用可能なコマンドの詳細については、次のコマンドを使用します。For more information on the commands available with the kafka-topics.sh utility, use the following command:

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh

レコードの生成および消費Produce and consume records

Kafka では、トピック内にレコードが格納されます。Kafka stores records in topics. レコードは、プロデューサーによって生成され、コンシューマーによって消費されます。Records are produced by producers, and consumed by consumers. プロデューサーとコンシューマーは "Kafka ブローカー" サービスと通信します。Producers and consumers communicate with the Kafka broker service. HDInsight クラスターの各ワーカー ノードが、Apache Kafka ブローカー ホストです。Each worker node in your HDInsight cluster is an Apache Kafka broker host.

先ほど作成した test トピックにレコードを格納し、コンシューマーを使用してそれらを読み取るには、次の手順に従います。To store records into the test topic you created earlier, and then read them using a consumer, use the following steps:

  1. トピックにレコードを書き込むには、SSH 接続から kafka-console-producer.sh ユーティリティを使用します。To write records to the topic, use the kafka-console-producer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list $KAFKABROKERS --topic test
    

    このコマンドの後ろには空の行があります。After this command, you arrive at an empty line.

  2. 空の行にテキスト メッセージを入力して、Enter キーを押します。Type a text message on the empty line and hit enter. このようにメッセージをいくつか入力してから、Ctrl + C キーを使用して通常のプロンプトに戻ります。Enter a few messages this way, and then use Ctrl + C to return to the normal prompt. 各行が、個別のレコードとして Apache Kafka トピックに送信されます。Each line is sent as a separate record to the Apache Kafka topic.

  3. トピックからレコードを読み取るには、SSH 接続から kafka-console-consumer.sh ユーティリティを使用します。To read records from the topic, use the kafka-console-consumer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server $KAFKABROKERS --topic test --from-beginning
    

    このコマンドにより、レコードがトピックから取得され、表示されます。This command retrieves the records from the topic and displays them. --from-beginning を使用することで、すべてのレコードが取得されるように、コンシューマーにストリームの先頭から開始するように指示しています。Using --from-beginning tells the consumer to start from the beginning of the stream, so all records are retrieved.

    以前のバージョンの Kafka を使っている場合、--bootstrap-server $KAFKABROKERS--zookeeper $KAFKAZKHOSTS に置き換えます。If you are using an older version of Kafka, replace --bootstrap-server $KAFKABROKERS with --zookeeper $KAFKAZKHOSTS.

  4. Ctrl+C キーを使用してコンシューマーを停止します。Use Ctrl + C to stop the consumer.

プロデューサーとコンシューマーをプログラムから作成することもできます。You can also programmatically create producers and consumers. この API の使用例については、HDInsight における Apache Kafka Producer API と Consumer API に関するドキュメントを参照してください。For an example of using this API, see the Apache Kafka Producer and Consumer API with HDInsight document.

リソースのクリーンアップClean up resources

このクイックスタートで作成したリソースをクリーンアップするために、リソース グループを削除できます。To clean up the resources created by this quickstart, you can delete the resource group. リソース グループを削除すると、関連付けられている HDInsight クラスター、およびリソース グループに関連付けられているその他のリソースも削除されます。Deleting the resource group also deletes the associated HDInsight cluster, and any other resources associated with the resource group.

Azure Portal を使用してリソース グループを削除するには:To remove the resource group using the Azure portal:

  1. Azure Portal で左側のメニューを展開してサービスのメニューを開き、 [リソース グループ] を選択して、リソース グループの一覧を表示します。In the Azure portal, expand the menu on the left side to open the menu of services, and then choose Resource Groups to display the list of your resource groups.
  2. 削除するリソース グループを見つけて、一覧の右側にある [詳細] ボタン ([...]) を右クリックします。Locate the resource group to delete, and then right-click the More button (...) on the right side of the listing.
  3. [リソース グループの削除] を選択し、確認します。Select Delete resource group, and then confirm.

警告

HDInsight クラスターの課金は、クラスターが作成されると開始し、クラスターが削除されると停止します。HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. 課金は分単位なので、クラスターを使わなくなったら必ず削除してください。Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use.

HDInsight クラスター上の Apache Kafka を削除すると、Kafka に格納されているすべてのデータが削除されます。Deleting an Apache Kafka on HDInsight cluster deletes any data stored in Kafka.

次の手順Next steps