MirrorMaker を使用して HDInsight 上の Kafka に Apache Kafka トピックをレプリケートするUse MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsight

Apache Kafka のミラーリング機能を使用して、セカンダリ クラスターにトピックをレプリケートする方法について説明します。Learn how to use Apache Kafka's mirroring feature to replicate topics to a secondary cluster. ミラーリングは、継続的なプロセスとして実行できるほか、1 つのクラスターから別のクラスターにデータを移行する方法として断続的に使用することもできます。Mirroring can be ran as a continuous process, or used intermittently as a method of migrating data from one cluster to another.

この例では、ミラーリングを使用して、2 つの HDInsight クラスター間でトピックをレプリケートします。In this example, mirroring is used to replicate topics between two HDInsight clusters. どちらのクラスターも、異なるデータセンター内の異なる仮想ネットワーク内にあります。Both clusters are in different virtual networks in different datacenters.

警告

ミラーリングは、フォールト トレランスを実現するための手段として考慮するべきではありません。Mirroring should not be considered as a means to achieve fault-tolerance. トピック内の項目へのオフセットは、プライマリ クラスターとセカンダリ クラスターによって異なるため、クライアントはこれら 2 つを入れ替えて使用することはできません。The offset to items within a topic are different between the primary and secondary clusters, so clients cannot use the two interchangeably.

フォールト トレランスを考慮する場合は、クラスター内のトピックをレプリケートする設定にします。If you are concerned about fault tolerance, you should set replication for the topics within your cluster. 詳しくは、「HDInsight での Apache Kafka の概要」をご覧ください。For more information, see Get started with Apache Kafka on HDInsight.

Apache Kafka のミラーリングのしくみHow Apache Kafka mirroring works

ミラーリングでは、Apache Kafka に含まれるツール MirrorMaker によってプライマリ クラスターのトピックからレコードが使用され、セカンダリ クラスターにローカル コピーが作成されます。Mirroring works by using the MirrorMaker tool (part of Apache Kafka) to consume records from topics on the primary cluster and then create a local copy on the secondary cluster. MirrorMaker では、プライマリ クラスターから読み取りを行う 1 つ (あるいは複数) のコンシューマーと、ローカル (セカンダリ) クラスターへの書き込みを行うプロデューサーを使用します。MirrorMaker uses one (or more) consumers that read from the primary cluster, and a producer that writes to the local (secondary) cluster.

ディザスター リカバリーに最も役立つミラーリングの設定では、異なる Azure リージョンの Kafka クラスターを使用します。The most useful mirroring setup for disaster recovery utilizes Kafka clusters in different Azure regions. これを実現するには、クラスターが存在する仮想ネットワークをピアリングします。To achieve this, the virtual networks where the clusters reside are peered together.

次の図は、ミラーリング プロセスとクラスター間で通信がどのように流れるかを示しています。The following diagram illustrates the mirroring process and how the communication flows between clusters:

ミラーリング プロセスの図

プライマリ クラスターとセカンダリ クラスターでは、ノードとパーティションの数、およびトピック内のオフセットが異なります。The primary and secondary clusters can be different in the number of nodes and partitions, and offsets within the topics are different also. ミラーリングではパーティション分割に使用するキー値が保持されるため、レコードの順序はキー単位で保存されます。Mirroring maintains the key value that is used for partitioning, so record order is preserved on a per-key basis.

ネットワーク境界を超えたミラーリングMirroring across network boundaries

異なるネットワークの Kafka クラスター間でミラーリングの必要がある場合には、次の追加の考慮事項があります。If you need to mirror between Kafka clusters in different networks, there are the following additional considerations:

  • ゲートウェイ:ネットワークは、TCP/IP レベルで通信できる必要があります。Gateways: The networks must be able to communicate at the TCP/IP level.

  • サーバー アドレス指定:IP アドレスまたは完全修飾ドメイン名を使用して、クラスター ノードのアドレスを指定することができます。Server addressing: You can choose to address your cluster nodes using their IP addresses or fully qualified domain names.

    • IP アドレス:IP アドレスのアドバタイジングを使用するように Kafka クラスターを構成する場合は、ブローカー ノードと Zookeeper ノードの IP アドレスを使用してミラーリングのセットアップを続行することができます。IP addresses: If you configure your Kafka clusters to use IP address advertising, you can proceed with the mirroring setup using the IP addresses of the broker nodes and zookeeper nodes.

    • ドメイン名:IP アドレスのアドバタイジングを行うように Kafka クラスターを構成しない場合、クラスターは完全修飾ドメイン名 (FQDN) を使用して相互に接続できる必要があります。Domain names: If you don't configure your Kafka clusters for IP address advertising, the clusters must be able to connect to each other by using Fully Qualified Domain Names (FQDNs). そのためには、要求を他のネットワークに転送するように構成された各ネットワークに、ドメイン ネーム システム (DNS) サーバーが必要です。This requires a Domain Name System (DNS) server in each network that is configured to forward requests to the other networks. Azure Virtual Network を作成するときに、ネットワークで自動的に提供される DNS を使用せず、カスタムの DNS サーバーおよびサーバーの IP アドレスを指定する必要があります。When creating an Azure Virtual Network, instead of using the automatic DNS provided with the network, you must specify a custom DNS server and the IP address for the server. Virtual Network の作成が完了したら、その IP アドレスを使用する Azure Virtual Machine を作成し、そこに DNS ソフトウェアをインストールして構成を行います。After the Virtual Network has been created, you must then create an Azure Virtual Machine that uses that IP address, then install and configure DNS software on it.

    警告

    カスタム DNS サーバーの作成と構成は、HDInsight を Virtual Network にインストールする前に行うようにします。Create and configure the custom DNS server before installing HDInsight into the Virtual Network. HDInsight が Virtual Network 用に構成された DNS サーバーを使用するために必要な、追加の構成はありません。There is no additional configuration required for HDInsight to use the DNS server configured for the Virtual Network.

2 つの Azure Virtual Network を接続する方法の詳細については、VNet と VNet 間の接続の構成に関する記事を参照してください。For more information on connecting two Azure Virtual Networks, see Configure a VNet-to-VNet connection.

ミラーリング アーキテクチャMirroring architecture

このアーキテクチャの特徴は、リソース グループと仮想ネットワークが異なる 2 つのクラスター、すなわちプライマリセカンダリがあることです。This architecture features two clusters in different resource groups and virtual networks: a primary and secondary.

作成手順Creation steps

  1. 2 つの新しいリソース グループを作成します。Create two new resource groups:

    リソース グループResource Group LocationLocation
    kafka-primary-rgkafka-primary-rg 米国中部Central US
    kafka-secondary-rgkafka-secondary-rg 米国中北部North Central US
  2. kafka-primary-rg に新しい仮想ネットワーク kafka-primary-vnet を作成します。Create a new virtual network kafka-primary-vnet in kafka-primary-rg. 既定の設定のままにします。Leave the default settings.

  3. kafka-secondary-rg に新しい仮想ネットワーク kafka-secondary-vnet を作成します。こちらも既定の設定を使用します。Create a new virtual network kafka-secondary-vnet in kafka-secondary-rg, also with default settings.

  4. 2 つの新しい Kafka クラスターを作成します。Create two new Kafka clusters:

    クラスター名Cluster name リソース グループResource Group Virtual NetworkVirtual Network ストレージ アカウントStorage Account
    kafka-primary-clusterkafka-primary-cluster kafka-primary-rgkafka-primary-rg kafka-primary-vnetkafka-primary-vnet kafkaprimarystoragekafkaprimarystorage
    kafka-secondary-clusterkafka-secondary-cluster kafka-secondary-rgkafka-secondary-rg kafka-secondary-vnetkafka-secondary-vnet kafkasecondarystoragekafkasecondarystorage
  5. 仮想ネットワークのピアリングを作成します。Create virtual network peerings. この手順では、2 つのピアリングを作成します。1 つは kafka-primary-vnet から kafka-secondary-vnet に向かうもの、もう 1 つは kafka-secondary-vnet から kafka-primary-vnet に戻るものです。This step will create two peerings: one from kafka-primary-vnet to kafka-secondary-vnet and one back from kafka-secondary-vnet to kafka-primary-vnet.

    1. kafka-primary-vnet 仮想ネットワークを選択します。Select the kafka-primary-vnet virtual network.

    2. [設定][ピアリング] をクリックします。Click Peerings under Settings.

    3. [追加] をクリックします。Click Add.

    4. [ピアリングの追加] 画面で、次のスクリーンショットに示すように詳細を入力します。On the Add peering screen, enter the details as shown in the screenshot below.

      vnet ピアリングの追加

  6. IP アドバタイズを構成します。Configure IP advertising:

    1. https://PRIMARYCLUSTERNAME.azurehdinsight.net からプライマリ クラスターの Ambari ダッシュボードに移動します。Go to the Ambari dashboard for the primary cluster: https://PRIMARYCLUSTERNAME.azurehdinsight.net.

    2. [サービス] > [Kafka] をクリックします。Click Services > Kafka. [Configs] タブをクリックします。Click the Configs tab.

    3. kafka env テンプレート セクションの一番下に次の構成行を追加します。Add the following config lines to the bottom kafka-env template section. [Save] をクリックします。Click Save.

      # Configure Kafka to advertise IP addresses instead of FQDN
      IP_ADDRESS=$(hostname -i)
      echo advertised.listeners=$IP_ADDRESS
      sed -i.bak -e '/advertised/{/advertised@/!d;}' /usr/hdp/current/kafka-broker/conf/server.properties
      echo "advertised.listeners=PLAINTEXT://$IP_ADDRESS:9092" >> /usr/hdp/current/kafka-broker/conf/server.properties
      
    4. [構成の保存] 画面でメモを入力し、 [保存] をクリックします。Enter a note on the Save Configuration screen and click Save.

    5. 構成の警告が表示されたら、 [Proceed Anyway] (警告を無視して続行) をクリックします。If you are prompted with configuration warning, click Proceed Anyway.

    6. [Save Configuration Changes] (構成の変更を保存)[Ok] をクリックします。Click Ok on the Save Configuration Changes.

    7. 再起動が必要通知の [再起動] > [すべて再起動] をクリックします。Click Restart > Restart All Affected in the Restart Required notification. [Confirm Restart All] (すべて再起動) をクリックします。Click Confirm Restart All.

      kafka ノードの再起動

  7. すべてのネットワーク インターフェイスをリッスンするように Kafka を構成します。Configure Kafka to listen on all network interfaces.

    1. [サービス] > [Kafka][構成] タブにとどまります。Stay on the Configs tab under Services > Kafka. [Kafka Broker] (Kafka ブローカー) セクションで、リスナー プロパティを PLAINTEXT://0.0.0.0:9092 に設定します。In the Kafka Broker section set the listeners property to PLAINTEXT://0.0.0.0:9092.
    2. [Save] をクリックします。Click Save.
    3. [再起動][Confirm Restart All] (すべて再起動) をクリックします。Click Restart, and Confirm Restart All.
  8. プライマリ クラスターのブローカーの IP アドレスと Zookeeper アドレスを記録します。Record Broker IP addresses and Zookeeper addresses for primary cluster.

    1. Ambari ダッシュボードの [ホスト] をクリックします。Click Hosts on the Ambari dashboard.

    2. ブローカーと Zookeeper の IP アドレスをメモしておきます。Make a note of the IP Addresses for the Brokers and Zookeepers. ブローカー ノードのホスト名の最初の 2 文字は wn、Zookeeper ノードのホスト名の最初 2 文字は zk です。The broker nodes have wn as the first two letters of the host name, and the zookeeper nodes have zk as the first two letters of the host name.

      IP アドレスの表示

  9. 2 番目のクラスター kafka-secondary-cluster に対して前の 3 つの手順を繰り返します。IP アドバタイズを構成し、リスナーを設定して、ブローカーと Zookeeper の IP アドレスをメモします。Repeat the previous three steps for the second cluster kafka-secondary-cluster: configure IP advertising, set listeners and make a note of the Broker and Zookeeper IP addresses.

トピックの作成Create topics

  1. SSH を使用してプライマリ クラスターに接続します。Connect to the primary cluster using SSH:

    ssh sshuser@PRIMARYCLUSTER-ssh.azurehdinsight.net
    

    sshuser は、クラスターの作成時に使用した SSH ユーザー名に置き換えます。Replace sshuser with the SSH user name used when creating the cluster. BASENAME は、クラスターの作成時に使用したベース名に置き換えます。Replace BASENAME with the base name used when creating the cluster.

    詳細については、HDInsight での SSH の使用に関するページを参照してください。For information, see Use SSH with HDInsight.

  2. プライマリ クラスターの Apache Zookeeper ホストを格納した変数を作成するには、次のコマンドを使用します。Use the following command to create a variable with the Apache Zookeeper hosts for the primary cluster. ZOOKEEPER_IP_ADDRESS1 などの文字列は、10.23.0.1110.23.0.7 など、先ほど記録した実際の IP アドレスに置き換える必要があります。The strings like ZOOKEEPER_IP_ADDRESS1 must be replaced with the actual IP addresses recorded earlier, such as 10.23.0.11 and 10.23.0.7. カスタム DNS サーバーで FQDN 解決を使用している場合は、こちらの手順に従ってブローカーと Zookeeper の名前を取得します。If you are using FQDN resolution with a custom DNS server, follow these steps to get broker and zookeeper names.:

    # get the zookeeper hosts for the primary cluster
    export PRIMARY_ZKHOSTS='ZOOKEEPER_IP_ADDRESS1:2181, ZOOKEEPER_IP_ADDRESS2:2181, ZOOKEEPER_IP_ADDRESS3:2181'
    
  3. testtopic という名前のトピックを作成するには、次のコマンドを使います。To create a topic named testtopic, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 2 --partitions 8 --topic testtopic --zookeeper $PRIMARY_ZKHOSTS
    
  4. トピックが作成されたことを確認するには、次のコマンドを使用します。Use the following command to verify that the topic was created:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper $PRIMARY_ZKHOSTS
    

    応答には testtopic が含まれます。The response contains testtopic.

  5. 次を使用して、この (プライマリ) クラスターの Zookeeper ホスト情報を表示します。Use the following to view the Zookeeper host information for this (the primary) cluster:

    echo $PRIMARY_ZKHOSTS
    

    次のテキストのような情報が返されます。This returns information similar to the following text:

    10.23.0.11:2181,10.23.0.7:2181,10.23.0.9:2181

    この情報は保存してください。Save this information. 次のセクションで使用します。It is used in the next section.

ミラーリングの構成Configure mirroring

  1. 別の SSH セッションを使用してセカンダリ クラスターに接続します。Connect to the secondary cluster using a different SSH session:

    ssh sshuser@SECONDARYCLUSTER-ssh.azurehdinsight.net
    

    sshuser は、クラスターの作成時に使用した SSH ユーザー名に置き換えます。Replace sshuser with the SSH user name used when creating the cluster. SECONDARYCLUSTER は、クラスターの作成時に使用した名前に置き換えます。Replace SECONDARYCLUSTER with the name used when creating the cluster.

    詳細については、HDInsight での SSH の使用に関するページを参照してください。For information, see Use SSH with HDInsight.

  2. consumer.properties ファイルは、プライマリ クラスターとの通信を構成するために使われます。A consumer.properties file is used to configure communication with the primary cluster. ファイルを作成するには、次のコマンドを使います。To create the file, use the following command:

    nano consumer.properties
    

    consumer.properties ファイルの内容として、次のテキストを使用します。Use the following text as the contents of the consumer.properties file:

    zookeeper.connect=PRIMARY_ZKHOSTS
    group.id=mirrorgroup
    

    PRIMARY_ZKHOSTS は、プライマリ クラスターの Zookeeper の IP アドレスで置き換えます。Replace PRIMARY_ZKHOSTS with the Zookeeper IP Addresses from the primary cluster.

    このファイルには、プライマリ Kafka クラスターからの読み取りに使用するコンシューマー情報を記述します。This file describes the consumer information to use when reading from the primary Kafka cluster. コンシューマーの構成の詳細については、「Consumer Configs (コンシューマーの構成)」(kafka.apache.org) を参照してください。For more information consumer configuration, see Consumer Configs at kafka.apache.org.

    ファイルを保存するには、Ctrl + X キー、Y キー、Enter キーの順に押します。To save the file, use Ctrl + X, Y, and then Enter.

  3. セカンダリ クラスターと通信するプロデューサーを構成する前に、セカンダリ クラスターのブローカーの IP アドレスに使用する変数を設定します。Before configuring the producer that communicates with the secondary cluster, setup a variable for the broker IP addresses of the secondary cluster. 以下のコマンドを使用して、この変数を作成します。Use the following commands to create this variable:

    export SECONDARY_BROKERHOSTS='BROKER_IP_ADDRESS1:9092,BROKER_IP_ADDRESS2:9092,BROKER_IP_ADDRESS2:9092'
    

    コマンド echo $SECONDARY_BROKERHOSTS は、次のテキストのような情報を返します。The command echo $SECONDARY_BROKERHOSTS should return information similar to the following text:

    10.23.0.14:9092,10.23.0.4:9092,10.23.0.12:9092

  4. producer.properties ファイルは、セカンダリ クラスターとの通信に使われます。A producer.properties file is used to communicate the secondary cluster. ファイルを作成するには、次のコマンドを使います。To create the file, use the following command:

    nano producer.properties
    

    producer.properties ファイルの内容として、次のテキストを使用します。Use the following text as the contents of the producer.properties file:

    bootstrap.servers=SECONDARY_BROKERHOSTS
    compression.type=none
    

    前の手順で使用したブローカーの IP アドレスで SECONDARY_BROKERHOSTS を置き換えます。Replace SECONDARY_BROKERHOSTS with the broker IP addresses used in the previous step.

    プロデューサーの構成の詳細については、「Producer Configs (プロデューサーの構成)」(kafka.apache.org) を参照してください。For more information producer configuration, see Producer Configs at kafka.apache.org.

  5. セカンダリ クラスターの Zookeeper ホストの IP アドレスを格納する環境変数を作成するには、次のコマンドを使用します。Use the following commands to create an environment variable with the IP addresses of the Zookeeper hosts for the secondary cluster:

    # get the zookeeper hosts for the secondary cluster
    export SECONDARY_ZKHOSTS='ZOOKEEPER_IP_ADDRESS1:2181,ZOOKEEPER_IP_ADDRESS2:2181,ZOOKEEPER_IP_ADDRESS3:2181'
    
  6. HDInsight の Kafka に使用される既定の構成では、トピックの自動作成が許可されません。The default configuration for Kafka on HDInsight does not allow the automatic creation of topics. ミラーリング プロセスを開始する前に、次のいずれかの方法を選択する必要があります。You must use one of the following options before starting the Mirroring process:

    • セカンダリ クラスターにトピックを作成する:この方法を選択した場合、パーティション数とレプリケーション係数も設定することができます。Create the topics on the secondary cluster: This option also allows you to set the number of partitions and the replication factor.

      次のコマンドを使用して事前にトピックを作成することができます。You can create topics ahead of time by using the following command:

      /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 2 --partitions 8 --topic testtopic --zookeeper $SECONDARY_ZKHOSTS
      

      testtopic は、作成するトピックの名前に置き換えます。Replace testtopic with the name of the topic to create.

    • トピックを自動的に作成するようにクラスターを構成する:この方法を選択した場合、MirrorMaker によって自動的にトピックが作成されます。ただし、トピックと共に作成されるパーティションの数またはレプリケーション係数は、プライマリのトピックと異なる場合があります。Configure the cluster for automatic topic creation: This option allows MirrorMaker to automatically create topics, however it may create them with a different number of partitions or replication factor than the primary topic.

      トピックを自動的に作成するようにセカンダリ クラスターを構成するには、次の手順を実行します。To configure the secondary cluster to automatically create topics, perform these steps:

      1. https://SECONDARYCLUSTERNAME.azurehdinsight.net からセカンダリ クラスターの Ambari ダッシュボードに移動します。Go to the Ambari dashboard for the secondary cluster: https://SECONDARYCLUSTERNAME.azurehdinsight.net.
      2. [サービス] > [Kafka] をクリックします。Click Services > Kafka. [Configs] タブをクリックします。Click the Configs tab.
      3. [フィルター] フィールドに auto.create の値を入力します。In the Filter field, enter a value of auto.create. プロパティの一覧にフィルターが適用されて auto.create.topics.enable 設定が表示されます。This filters the list of properties and displays the auto.create.topics.enable setting.
      4. auto.create.topics.enable の値を true に変更して [保存] を選択します。Change the value of auto.create.topics.enable to true, and then select Save. ノートを追加して、もう一度 [保存] を選択します。Add a note, and then select Save again.
      5. Kafka サービスを選択し、 [Restart](再起動) を選択して、 [Restart all affected](影響を受けるものをすべて再起動) を選択します。Select the Kafka service, select Restart, and then select Restart all affected. メッセージが表示されたら、 [Confirm restart all](すべて再起動) を選択します。When prompted, select Confirm restart all.

      トピックの自動作成の構成

MirrorMaker の開始Start MirrorMaker

  1. セカンダリ クラスターに SSH で接続してから、次のコマンドを使用して MirrorMaker プロセスを開始します。From the SSH connection to the secondary cluster, use the following command to start the MirrorMaker process:

    /usr/hdp/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.properties --producer.config producer.properties --whitelist testtopic --num.streams 4
    

    この例で使用するパラメーターは次のとおりです。The parameters used in this example are:

    • --consumer.config:コンシューマーのプロパティを格納するファイルを指定します。--consumer.config: Specifies the file that contains consumer properties. これらのプロパティは、プライマリ Kafka クラスターから読み取りを行うコンシューマーの作成に使用します。These properties are used to create a consumer that reads from the primary Kafka cluster.

    • --producer.config:プロデューサーのプロパティを格納するファイルを指定します。--producer.config: Specifies the file that contains producer properties. これらのプロパティは、セカンダリ Kafka クラスターへの書き込みを行うプロデューサーの作成に使用します。These properties are used to create a producer that writes to the secondary Kafka cluster.

    • --whitelist:MirrorMaker がプライマリ クラスターからセカンダリ クラスターにレプリケートするトピックの一覧。--whitelist: A list of topics that MirrorMaker replicates from the primary cluster to the secondary.

    • --num.streams:作成するコンシューマー スレッドの数。--num.streams: The number of consumer threads to create.

    現在、セカンダリ ノードのコンシューマーは、メッセージの受信を待機しています。The consumer on the secondary node is now waiting to receive messages.

  2. プライマリ クラスターに SSH で接続してから、次のコマンドを使用して、プロデューサーを起動し、トピックにメッセージを送信します。From the SSH connection to the primary cluster, use the following command to start a producer and send messages to the topic:

    export PRIMARY_BROKERHOSTS=BROKER_IP_ADDRESS1:9092,BROKER_IP_ADDRESS2:9092,BROKER_IP_ADDRESS2:9092
    /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list $SOURCE_BROKERHOSTS --topic testtopic
    

    カーソル付きの空白行が表示されたら、テキスト メッセージを数個入力します。When you arrive at a blank line with a cursor, type in a few text messages. これらのメッセージは、プライマリ クラスター上のトピックに送信されます。The messages are sent to the topic on the primary cluster. 操作が完了したら、Ctrl + C キーを使用してプロデューサーのプロセスを終了します。When done, use Ctrl + C to end the producer process.

  3. セカンダリ クラスターに SSH で接続してから、Ctrl + C キーを使用して MirrorMaker プロセスを終了します。From the SSH connection to the secondary cluster, use Ctrl + C to end the MirrorMaker process. このプロセスは、終了までに数秒かかる場合があります。It may take several seconds to end the process. メッセージがセカンダリにレプリケートされたことを確認するには、次のコマンドを使います。To verify that the messages were replicated to the secondary, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server $SECONDARY_ZKHOSTS --topic testtopic --from-beginning
    

    これで、MirrorMaster がトピックをプライマリ クラスターからセカンダリにミラーリングしたときに作成された testtopic が、トピックの一覧に含まれるようになりました。The list of topics now includes testtopic, which is created when MirrorMaster mirrors the topic from the primary cluster to the secondary. このトピックから取得するメッセージは、プライマリ クラスターで入力したものと同じです。The messages retrieved from the topic are the same as the ones you entered on the primary cluster.

クラスターを削除するDelete the cluster

警告

HDInsight クラスターの料金は、そのクラスターを使用しているかどうかに関係なく、分単位で課金されます。Billing for HDInsight clusters is prorated per minute, whether you use them or not. 使用後は、クラスターを必ず削除してください。Be sure to delete your cluster after you finish using it. HDInsight クラスターを削除する方法」をご覧ください。See how to delete an HDInsight cluster.

このドキュメントの手順では、別の Azure リソース グループにクラスターを作成しました。The steps in this document created clusters in different Azure resource groups. 作成されたすべてのリソースを削除するには、作成した 2 つのリソース グループ kafka-primary-rg および kafka-secondary_rg を削除します。To delete all of the resources created, you can delete the two resource groups created: kafka-primary-rg and kafka-secondary_rg. リソース グループを削除すると、このドキュメントに従って作成したすべてのリソースが削除されます。これには、クラスター、仮想ネットワーク、ストレージ アカウントなどが含まれます。Deleting the resource groups removes all of the resources created by following this document, including clusters, virtual networks, and storage accounts.

次の手順Next Steps

このドキュメントでは、MirrorMaker を使用して Apache Kafka クラスターのレプリカを作成する方法について説明しました。In this document, you learned how to use MirrorMaker to create a replica of an Apache Kafka cluster. 次のリンクを使用することで、Kafka のその他の活用方法を知ることができます。Use the following links to discover other ways to work with Kafka: