MirrorMaker を使用して HDInsight 上の Kafka に Apache Kafka トピックをレプリケートするUse MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsight

Apache Kafka のミラーリング機能を使用して、セカンダリ クラスターにトピックをレプリケートする方法について説明します。Learn how to use Apache Kafka's mirroring feature to replicate topics to a secondary cluster. ミラーリングは、継続的なプロセスとして実行できるほか、1 つのクラスターから別のクラスターにデータを移行する方法として断続的に使用することもできます。Mirroring can be ran as a continuous process, or used intermittently as a method of migrating data from one cluster to another.

この例では、ミラーリングを使用して、2 つの HDInsight クラスター間でトピックをレプリケートします。In this example, mirroring is used to replicate topics between two HDInsight clusters. 両方のクラスターは同じリージョンの Azure Virtual Network に存在します。Both clusters are in an Azure Virtual Network in the same region.

警告

ミラーリングは、フォールト トレランスを実現するための手段として考慮するべきではありません。Mirroring should not be considered as a means to achieve fault-tolerance. トピック内の項目へのオフセットは、移行元クラスターと移行先クラスターによって異なるため、クライアントはこれら 2 つを入れ替えて使用することはできません。The offset to items within a topic are different between the source and destination clusters, so clients cannot use the two interchangeably.

フォールト トレランスを考慮する場合は、クラスター内のトピックをレプリケートする設定にします。If you are concerned about fault tolerance, you should set replication for the topics within your cluster. 詳細については、「Get started with Kafka on HDInsight (HDInsight での Kafka の使用)」を参照してください。For more information, see Get started with Kafka on HDInsight.

Kafka のミラーリングのしくみHow Kafka mirroring works

ミラーリングでは、Apache Kafka に含まれるツール MirrorMaker によって移行元クラスターのトピックからレコードが使用され、移行元クラスターにローカル コピーが作成されます。Mirroring works by using the MirrorMaker tool (part of Apache Kafka) to consume records from topics on the source cluster and then create a local copy on the destination cluster. MirrorMaker では、移行元クラスターから読み取りを行う 1 つ (あるいは複数) のコンシューマーと、ローカル (移行先) クラスターへの書き込みを行うプロデューサーを使用します。MirrorMaker uses one (or more) consumers that read from the source cluster, and a producer that writes to the local (destination) cluster.

次の図にミラーリング プロセスを示します。The following diagram illustrates the Mirroring process:

ミラーリング プロセスの図

HDInsight の Apache Kafka では、パブリック インターネットを介した Kafka サービスへのアクセスを提供されていません。Apache Kafka on HDInsight does not provide access to the Kafka service over the public internet. Kafka のプロデューサーまたはコンシューマーは、Kafka クラスター内のノードと同じ Azure 仮想ネットワークに存在している必要があります。Kafka producers or consumers must be in the same Azure virtual network as the nodes in the Kafka cluster. この例では、Kafka の移行元クラスターと移行先クラスターの両方を Azure 仮想ネットワーク内に配置します。For this example, both the Kafka source and destination clusters are located in an Azure virtual network. 次の図に、クラスター間の通信フローを示します。The following diagram shows how communication flows between the clusters:

Azure 仮想ネットワークにおける、移行元および移行先の Kafka クラスターの図

移行元クラスターと移行先クラスターでは、ノードとパーティションの数、およびトピック内のオフセットが異なります。The source and destination clusters can be different in the number of nodes and partitions, and offsets within the topics are different also. ミラーリングではパーティション分割に使用するキー値が保持されるため、レコードの順序はキー単位で保存されます。Mirroring maintains the key value that is used for partitioning, so record order is preserved on a per-key basis.

ネットワーク境界を超えたミラーリングMirroring across network boundaries

異なるネットワークの Kafka クラスター間でミラーリングの必要がある場合には、次の追加の考慮事項があります。If you need to mirror between Kafka clusters in different networks, there are the following additional considerations:

  • ゲートウェイ: ネットワークは、TCPIP レベルで通信できる必要があります。Gateways: The networks must be able to communicate at the TCPIP level.

  • 名前の解決: 各ネットワークの Kafka クラスターは、ホスト名を使用して相互に接続できる必要があります。Name resolution: The Kafka clusters in each network must be able to connect to each other by using hostnames. そのためには、要求を他のネットワークに転送するように構成された各ネットワークに、ドメイン ネーム システム (DNS) サーバーが必要です。This may require a Domain Name System (DNS) server in each network that is configured to forward requests to the other networks.

    Azure Virtual Network を作成するときに、ネットワークで自動的に提供される DNS を使用せず、カスタムの DNS サーバーおよびサーバーの IP アドレスを指定する必要があります。When creating an Azure Virtual Network, instead of using the automatic DNS provided with the network, you must specify a custom DNS server and the IP address for the server. Virtual Network の作成が完了したら、その IP アドレスを使用する Azure Virtual Machine を作成し、そこに DNS ソフトウェアをインストールして構成を行います。After the Virtual Network has been created, you must then create an Azure Virtual Machine that uses that IP address, then install and configure DNS software on it.

    警告

    カスタム DNS サーバーの作成と構成は、HDInsight を Virtual Network にインストールする前に行うようにします。Create and configure the custom DNS server before installing HDInsight into the Virtual Network. HDInsight が Virtual Network 用に構成された DNS サーバーを使用するために必要な、追加の構成はありません。There is no additional configuration required for HDInsight to use the DNS server configured for the Virtual Network.

2 つの Azure Virtual Network を接続する方法の詳細については、VNet と VNet 間の接続の構成に関する記事を参照してください。For more information on connecting two Azure Virtual Networks, see Configure a VNet-to-VNet connection.

Kafka クラスターの作成Create Kafka clusters

Azure 仮想ネットワークと Kafka クラスターは手動で作成できますが、Azure Resource Manager テンプレートを使用する方が簡単です。While you can create an Azure virtual network and Kafka clusters manually, it's easier to use an Azure Resource Manager template. 次の手順に従って、Azure 仮想ネットワークと 2 つの Kafka クラスターを Azure サブスクリプションにデプロイします。Use the following steps to deploy an Azure virtual network and two Kafka clusters to your Azure subscription.

  1. 次のボタンを使用して Azure にサインインし、Azure Portal でテンプレートを開きます。Use the following button to sign in to Azure and open the template in the Azure portal.

    Deploy to Azure

    Azure Resource Manager テンプレートは、https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json にあります。The Azure Resource Manager template is located at https://hditutorialdata.blob.core.windows.net/armtemplates/create-linux-based-kafka-mirror-cluster-in-vnet-v2.1.json.

    警告

    HDInsight で Kafka の可用性を保証するには、クラスターに少なくとも 3 つのワーカー ノードが必要です。To guarantee availability of Kafka on HDInsight, your cluster must contain at least three worker nodes. このテンプレートは、3 つのワーカー ノードが含まれる Kafka クラスターを作成します。This template creates a Kafka cluster that contains three worker nodes.

  2. 次の情報に従って、[カスタム デプロイ] ブレードの各エントリに入力します。Use the following information to populate the entries on the Custom deployment blade:

    HDInsight のカスタム デプロイ

    • [リソース グループ]: グループを作成するか、または既存のグループを選択します。Resource group: Create a group or select an existing one. このグループに HDInsight クラスターが含まれます。This group contains the HDInsight cluster.

    • [場所]: 地理的に近い場所を選択します。Location: Select a location geographically close to you.

    • [Base Cluster Name] (ベース クラスター名): この値は、Kafka クラスターのベース名として使用されます。Base Cluster Name: This value is used as the base name for the Kafka clusters. たとえば、「hdi」と入力すると、source-hdi と、dest-hdi という名前のクラスターが作成されます。For example, entering hdi creates clusters named source-hdi and dest-hdi.

    • [Cluster Login User Name] (クラスター ログイン ユーザー名): 移行元および移行先の Kafka クラスターの管理者のユーザー名。Cluster Login User Name: The admin user name for the source and destination Kafka clusters.

    • [クラスター ログイン パスワード]: 移行元および移行先の Kafka クラスターの管理者のユーザー パスワード。Cluster Login Password: The admin user password for the source and destination Kafka clusters.

    • [SSH ユーザー名]: 移行元および移行先の Kafka クラスターの作成に使用する SSHユーザー。SSH User Name: The SSH user to create for the source and destination Kafka clusters.

    • [SSH パスワード]: 移行元および移行先の Kafka クラスター用の SSH ユーザーのパスワード。SSH Password: The password for the SSH user for the source and destination Kafka clusters.

  3. 使用条件を読み、[上記の使用条件に同意する] をオンにします。Read the Terms and Conditions, and then select I agree to the terms and conditions stated above.

  4. 最後に、[ダッシュボードにピン留めする] をオンにし、[購入] をクリックします。Finally, check Pin to dashboard and then select Purchase. クラスターの作成には約 20 分かかります。It takes about 20 minutes to create the clusters.

重要

各 HDInsight クラスターの名前は、source-BASENAMEdest-BASENAME です。BASENAME はテンプレートで指定した名前です。The name of the HDInsight clusters are source-BASENAME and dest-BASENAME, where BASENAME is the name you provided to the template. これらの名前は、後の手順でクラスターに接続するときに使用します。You use these names in later steps when connecting to the clusters.

トピックの作成Create topics

  1. SSH を使用して移行元クラスターに接続します。Connect to the source cluster using SSH:

    ssh sshuser@source-BASENAME-ssh.azurehdinsight.net
    

    sshuser は、クラスターの作成時に使用した SSH ユーザー名に置き換えます。Replace sshuser with the SSH user name used when creating the cluster. BASENAME は、クラスターの作成時に使用したベース名に置き換えます。Replace BASENAME with the base name used when creating the cluster.

    詳細については、HDInsight での SSH の使用に関するページを参照してください。For information, see Use SSH with HDInsight.

  2. 次のコマンドを使用して、移行元クラスターの Zookeeper ホストを見つけます。Use the following commands to find the Zookeeper hosts for the source cluster:

    # Install jq if it is not installed
    sudo apt -y install jq
    # get the zookeeper hosts for the source cluster
    export SOURCE_ZKHOSTS=`curl -sS -u admin -G https://$CLUSTERNAME.azurehdinsight.net/api/v1/clusters/$CLUSTERNAME/services/ZOOKEEPER/components/ZOOKEEPER_SERVER | jq -r '["\(.host_components[].HostRoles.host_name):2181"] | join(",")' | cut -d',' -f1,2`
    

    $CLUSTERNAME を移行元クラスターの名前に置き換えます。Replace $CLUSTERNAME with the name of the source cluster. プロンプトが表示されたら、クラスターのログイン (管理者) アカウントのパスワードを入力します。When prompted, enter the password for the cluster login (admin) account.

  3. testtopic という名前のトピックを作成するには、次のコマンドを使います。To create a topic named testtopic, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 2 --partitions 8 --topic testtopic --zookeeper $SOURCE_ZKHOSTS
    
  4. トピックが作成されたことを確認するには、次のコマンドを使用します。Use the following command to verify that the topic was created:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper $SOURCE_ZKHOSTS
    

    応答には testtopic が含まれます。The response contains testtopic.

  5. 次を使用して、この (移行元) クラスターの Zookeeper ホスト情報を表示します。Use the following to view the Zookeeper host information for this (the source) cluster:

    echo $SOURCE_ZKHOSTS
    

    次のテキストのような情報が返されます。This returns information similar to the following text:

    zk0-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:2181,zk1-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:2181

    この情報は保存してください。Save this information. 次のセクションで使用します。It is used in the next section.

ミラーリングの構成Configure mirroring

  1. 別の SSH セッションを使用して移行先クラスターに接続します。Connect to the destination cluster using a different SSH session:

    ssh sshuser@dest-BASENAME-ssh.azurehdinsight.net
    

    sshuser は、クラスターの作成時に使用した SSH ユーザー名に置き換えます。Replace sshuser with the SSH user name used when creating the cluster. BASENAME は、クラスターの作成時に使用したベース名に置き換えます。Replace BASENAME with the base name used when creating the cluster.

    詳細については、HDInsight での SSH の使用に関するページを参照してください。For information, see Use SSH with HDInsight.

  2. consumer.properties ファイルは、移行元クラスターとの通信を構成するために使われます。A consumer.properties file is used to configure communication with the source cluster. ファイルを作成するには、次のコマンドを使います。To create the file, use the following command:

    nano consumer.properties
    

    consumer.properties ファイルの内容として、次のテキストを使用します。Use the following text as the contents of the consumer.properties file:

    zookeeper.connect=SOURCE_ZKHOSTS
    group.id=mirrorgroup
    

    SOURCE_ZKHOSTS を、移行元クラスターからの Zookeeper ホストの情報に置き換えます。Replace SOURCE_ZKHOSTS with the Zookeeper hosts information from the source cluster.

    このファイルでは、移行元の Kafka クラスターからの読み取りに使用するコンシューマー情報について説明します。This file describes the consumer information to use when reading from the source Kafka cluster. コンシューマーの構成の詳細については、「Consumer Configs (コンシューマーの構成)」(kafka.apache.org) を参照してください。For more information consumer configuration, see Consumer Configs at kafka.apache.org.

    ファイルを保存するには、Ctrl + X キー、Y キー、Enter キーの順に押します。To save the file, use Ctrl + X, Y, and then Enter.

  3. 移行先のクラスターと通信するプロデューサーを構成する前に、移行先クラスターのブローカー ホストを検索する必要があります。Before configuring the producer that communicates with the destination cluster, you must find the broker hosts for the destination cluster. この情報の取得には、次のコマンドを使用します。Use the following commands to retrieve this information:

    sudo apt -y install jq
    DEST_BROKERHOSTS=`curl -sS -u admin -G https://$CLUSTERNAME.azurehdinsight.net/api/v1/clusters/$CLUSTERNAME/services/KAFKA/components/KAFKA_BROKER | jq -r '["\(.host_components[].HostRoles.host_name):9092"] | join(",")' | cut -d',' -f1,2`
    echo $DEST_BROKERHOSTS
    

    $CLUSTERNAME を移行先クラスターの名前に置き換えます。Replace $CLUSTERNAME with the name of the destination cluster. プロンプトが表示されたら、クラスターのログイン (管理者) アカウントのパスワードを入力します。When prompted, enter the password for the cluster login (admin) account.

    echo コマンドでは、次のテキストのような情報が返されます。The echo command returns information similar to the following text:

     wn0-dest.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092,wn1-dest.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092
    
  4. producer.properties ファイルは、移行先__クラスターとの通信に使われます。A producer.properties file is used to communicate the __destination cluster. ファイルを作成するには、次のコマンドを使います。To create the file, use the following command:

    nano producer.properties
    

    producer.properties ファイルの内容として、次のテキストを使用します。Use the following text as the contents of the producer.properties file:

    bootstrap.servers=DEST_BROKERS
    compression.type=none
    

    DEST_BROKERS を、前の手順で取得したブローカー情報に置き換えます。Replace DEST_BROKERS with the broker information from the previous step.

    プロデューサーの構成の詳細については、「Producer Configs (プロデューサーの構成)」(kafka.apache.org) を参照してください。For more information producer configuration, see Producer Configs at kafka.apache.org.

  5. 次のコマンドを使用して、移行先クラスターの Zookeeper ホストを見つけます。Use the following commands to find the Zookeeper hosts for the destination cluster:

    # Install jq if it is not installed
    sudo apt -y install jq
    # get the zookeeper hosts for the source cluster
    export DEST_ZKHOSTS=`curl -sS -u admin -G https://$CLUSTERNAME.azurehdinsight.net/api/v1/clusters/$CLUSTERNAME/services/ZOOKEEPER/components/ZOOKEEPER_SERVER | jq -r '["\(.host_components[].HostRoles.host_name):2181"] | join(",")' | cut -d',' -f1,2`
    

    $CLUSTERNAME を移行先クラスターの名前に置き換えます。Replace $CLUSTERNAME with the name of the destination cluster. プロンプトが表示されたら、クラスターのログイン (管理者) アカウントのパスワードを入力します。When prompted, enter the password for the cluster login (admin) account.

  6. HDInsight の Kafka に使用される既定の構成では、トピックの自動作成が許可されません。The default configuration for Kafka on HDInsight does not allow the automatic creation of topics. ミラーリング プロセスを開始する前に、次のいずれかの方法を選択する必要があります。You must use one of the following options before starting the Mirroring process:

    • 移行先クラスターにトピックを作成する: この方法を選択した場合、パーティション数とレプリケーション係数も設定することができます。Create the topics on the destination cluster: This option also allows you to set the number of partitions and the replication factor.

      次のコマンドを使用して事前にトピックを作成することができます。You can create topics ahead of time by using the following command:

      /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 2 --partitions 8 --topic testtopic --zookeeper $DEST_ZKHOSTS
      

      testtopic は、作成するトピックの名前に置き換えます。Replace testtopic with the name of the topic to create.

    • トピックを自動的に作成するようにクラスターを構成する: この方法を選択した場合、MirrorMaker によって自動的にトピックが作成されます。ただし、トピックと共に作成されるパーティションの数またはレプリケーション係数が、移行元のトピックとは異なる場合があります。Configure the cluster for automatic topic creation: This option allows MirrorMaker to automatically create topics, however it may create them with a different number of partitions or replication factor than the source topic.

      トピックを自動的に作成するように移行先クラスターを構成するには、次の手順を実行します。To configure the destination cluster to automatically create topics, perform these steps:

      1. Azure Portal から、移行先の Kafka クラスターを選択します。From the Azure portal, select the destination Kafka cluster.
      2. クラスターの概要から [クラスター ダッシュボード] を選択します。From the cluster overview, select Cluster dashboard. 次に、[HDInsight クラスター ダッシュボード] を選択します。Then select HDInsight cluster dashboard. 認証を求められたら、クラスターのログイン (管理者) 資格情報を使用して認証を行います。When prompted, authenticate using the login (admin) credentials for the cluster.
      3. ページの左側にあるリストから Kafka サービスを選択します。Select the Kafka service from the list on the left of the page.
      4. ページ中央の [Configs](構成) を選択します。Select Configs in the middle of the page.
      5. [フィルター] フィールドに auto.create の値を入力します。In the Filter field, enter a value of auto.create. プロパティの一覧にフィルターが適用されて auto.create.topics.enable 設定が表示されます。This filters the list of properties and displays the auto.create.topics.enable setting.
      6. auto.create.topics.enable の値を true に変更して [保存] を選択します。Change the value of auto.create.topics.enable to true, and then select Save. ノートを追加して、もう一度 [保存] を選択します。Add a note, and then select Save again.
      7. Kafka サービスを選択し、[Restart](再起動) を選択して、[Restart all affected](影響を受けるものをすべて再起動) を選択します。Select the Kafka service, select Restart, and then select Restart all affected. メッセージが表示されたら、[Confirm restart all](すべて再起動) を選択します。When prompted, select Confirm restart all.

MirrorMaker の開始Start MirrorMaker

  1. 移行先クラスターに SSH で接続してから、次のコマンドを使用して MirrorMaker プロセスを開始します。From the SSH connection to the destination cluster, use the following command to start the MirrorMaker process:

    /usr/hdp/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.properties --producer.config producer.properties --whitelist testtopic --num.streams 4
    

    この例で使用するパラメーターは次のとおりです。The parameters used in this example are:

    • --consumer.config: コンシューマーのプロパティを格納するファイルを指定します。--consumer.config: Specifies the file that contains consumer properties. これらのプロパティは、移行元の Kafka クラスターから読み取りを行うコンシューマーの作成に使用します。These properties are used to create a consumer that reads from the source Kafka cluster.

    • --producer.config: プロデューサーのプロパティを格納するファイルを指定します。--producer.config: Specifies the file that contains producer properties. これらのプロパティは、移行先の Kafka クラスターへの書き込みを行うプロデューサーの作成に使用します。These properties are used to create a producer that writes to the destination Kafka cluster.

    • --whitelist: MirrorMaker が移行元クラスターから移行先クラスターにレプリケートするトピックの一覧。--whitelist: A list of topics that MirrorMaker replicates from the source cluster to the destination.

    • --num.streams: 作成するコンシューマー スレッドの数。--num.streams: The number of consumer threads to create.

    スタートアップ時に、MirrorMaker により次のテキストのような情報が返されます。On startup, MirrorMaker returns information similar to the following text:

    {metadata.broker.list=wn1-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092,wn0-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092, request.timeout.ms=30000, client.id=mirror-group-3, security.protocol=PLAINTEXT}{metadata.broker.list=wn1-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092,wn0-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092, request.timeout.ms=30000, client.id=mirror-group-0, security.protocol=PLAINTEXT}
    metadata.broker.list=wn1-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092,wn0-kafka.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092, request.timeout.ms=30000, client.id=mirror-group-2, security.protocol=PLAINTEXT}
    metadata.broker.list=wn1-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092,wn0-source.aazwc2onlofevkbof0cuixrp5h.gx.internal.cloudapp.net:9092, request.timeout.ms=30000, client.id=mirror-group-1, security.protocol=PLAINTEXT}
    
  2. ソース クラスターに SSH で接続してから、次のコマンドを使用して、プロデューサーを起動し、トピックにメッセージを送信します。From the SSH connection to the source cluster, use the following command to start a producer and send messages to the topic:

    SOURCE_BROKERHOSTS=`curl -sS -u admin -G https://$CLUSTERNAME.azurehdinsight.net/api/v1/clusters/$CLUSTERNAME/services/KAFKA/components/KAFKA_BROKER | jq -r '["\(.host_components[].HostRoles.host_name):9092"] | join(",")' | cut -d',' -f1,2`
    /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list $SOURCE_BROKERHOSTS --topic testtopic
    

    $CLUSTERNAME を移行元クラスターの名前に置き換えます。Replace $CLUSTERNAME with the name of the source cluster. プロンプトが表示されたら、クラスターのログイン (管理者) アカウントのパスワードを入力します。When prompted, enter the password for the cluster login (admin) account.

    カーソル付きの空白行が表示されたら、テキスト メッセージを数個入力します。When you arrive at a blank line with a cursor, type in a few text messages. これらのメッセージは、移行元クラスター上のトピックに送信されます。The messages are sent to the topic on the source cluster. 操作が完了したら、Ctrl + C キーを使用してプロデューサーのプロセスを終了します。When done, use Ctrl + C to end the producer process.

  3. 移行先クラスターに SSH で接続してから、Ctrl + C キーを使用して MirrorMaker プロセスを終了します。From the SSH connection to the destination cluster, use Ctrl + C to end the MirrorMaker process. このプロセスは、終了までに数秒かかる場合があります。It may take several seconds to end the process. メッセージが移行先にレプリケートされたことを確認するには、次のコマンドを使います。To verify that the messages were replicated to the destination, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --zookeeper $DEST_ZKHOSTS --topic testtopic --from-beginning
    

    $CLUSTERNAME を移行先クラスターの名前に置き換えます。Replace $CLUSTERNAME with the name of the destination cluster. プロンプトが表示されたら、クラスターのログイン (管理者) アカウントのパスワードを入力します。When prompted, enter the password for the cluster login (admin) account.

    これで、MirrorMaster がトピックを移行元のクラスターから移行先にミラーリングしたときに作成された testtopic が、トピックの一覧に含まれるようになりました。The list of topics now includes testtopic, which is created when MirrorMaster mirrors the topic from the source cluster to the destination. このトピックから取得するメッセージは、送信元クラスターで入力したものと同じです。The messages retrieved from the topic are the same as entered on the source cluster.

クラスターを削除するDelete the cluster

警告

HDInsight クラスターの料金は、そのクラスターを使用しているかどうかに関係なく、分単位で課金されます。Billing for HDInsight clusters is prorated per minute, whether you are using them or not. 使用後は、クラスターを必ず削除してください。Be sure to delete your cluster after you have finished using it. 詳細については、HDInsight クラスターの削除方法に関する記事を参照してください。For more information, see How to delete an HDInsight cluster.

このドキュメントの手順では両方のクラスターを同じ Azure リソース グループに作成したため、Azure Portal でこのリソース グループを削除するだけで済みます。Since the steps in this document create both clusters in the same Azure resource group, you can delete the resource group in the Azure portal. リソース グループを削除すると、このドキュメントに従って作成したすべてのリソース、Azure Virtual Network、クラスターで使用したストレージ アカウントが削除されます。Deleting the resource group removes all resources created by following this document, the Azure Virtual Network, and storage account used by the clusters.

次の手順Next Steps

このドキュメントでは、MirrorMaker を使用して Kafka クラスターのレプリカを作成する方法について説明しました。In this document, you learned how to use MirrorMaker to create a replica of a Kafka cluster. 次のリンクを使用することで、Kafka のその他の活用方法を知ることができます。Use the following links to discover other ways to work with Kafka: