Rychlý Start: Vytvoření clusteru Apache Kafka ve službě Azure HDInsight pomocí Azure PortalQuickstart: Create Apache Kafka cluster in Azure HDInsight using Azure portal

Apache Kafka je open source platforma pro distribuované streamování.Apache Kafka is an open-source, distributed streaming platform. Často se používá jako zprostředkovatel zpráv, protože nabízí funkce podobné frontě pro publikování a odběr zpráv.It's often used as a message broker, as it provides functionality similar to a publish-subscribe message queue.

V tomto rychlém startu se dozvíte, jak vytvořit cluster Apache Kafka pomocí Azure Portal.In this Quickstart, you learn how to create an Apache Kafka cluster using the Azure portal. Dozvíte se také, jak používat obsažené nástroje k odesílání a příjmu zpráv pomocí platformy Apache Kafka.You also learn how to use included utilities to send and receive messages using Apache Kafka. Podrobné vysvětlení dostupných konfigurací najdete v tématu Nastavení clusterů v HDInsight.For in depth explanations of available configurations, see Set up clusters in HDInsight. Další informace týkající se používání portálu při vytváření clusterů najdete v tématu Vytvoření clusterů na portálu.For additional information regarding the use of the portal to create clusters, see Create clusters in the portal.

Upozornění

Fakturace za clustery HDInsight se účtuje poměrnou rychlostí za minutu, ať už je používáte, nebo ne.Billing for HDInsight clusters is prorated per minute, whether you use them or not. Po dokončení používání clusteru nezapomeňte tento cluster odstranit.Be sure to delete your cluster after you finish using it. Viz Jak odstranit cluster HDInsight.See how to delete an HDInsight cluster.

Rozhraní Apache Kafka API je přístupné jenom pro prostředky ve stejné virtuální síti.The Apache Kafka API can only be accessed by resources inside the same virtual network. V tomto rychlém startu získáte přímý přístup ke clusteru pomocí SSH.In this Quickstart, you access the cluster directly using SSH. Pokud chcete k platformě Apache Kafka připojit jiné služby, sítě nebo virtuální počítače, musíte nejprve vytvořit virtuální síť a pak v síti vytvořit prostředky.To connect other services, networks, or virtual machines to Apache Kafka, you must first create a virtual network and then create the resources within the network. Další informace najdete v dokumentu Připojení k platformě Apache Kafka pomocí virtuální sítě.For more information, see the Connect to Apache Kafka using a virtual network document. Obecnější informace o plánování virtuálních sítí pro HDInsight najdete v tématu plánování virtuální sítě pro Azure HDInsight.For more general information on planning virtual networks for HDInsight, see Plan a virtual network for Azure HDInsight.

Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet, ještě než začnete.If you don't have an Azure subscription, create a free account before you begin.

PožadavkyPrerequisites

Klient SSH.An SSH client. Další informace najdete v tématu připojení ke službě HDInsight (Apache Hadoop) pomocí SSH.For more information, see Connect to HDInsight (Apache Hadoop) using SSH.

Vytvoření clusteru Apache KafkaCreate an Apache Kafka cluster

Pokud chcete vytvořit cluster Apache Kafka v HDInsight, použijte následující postup:To create an Apache Kafka cluster on HDInsight, use the following steps:

  1. Přihlaste se k webu Azure Portal.Sign in to the Azure portal.

  2. V horní nabídce vyberte + vytvořit prostředek .From the top menu, select + Create a resource .

    Azure Portal vytvoření prostředku HDInsight

  3. Vyberte Analytics > Azure HDInsight a přejdete na stránku vytvořit cluster HDInsight .Select Analytics > Azure HDInsight to go to the Create HDInsight cluster page.

  4. Na kartě základy zadejte následující informace:From the Basics tab, provide the following information:

    VlastnostProperty PopisDescription
    PředplatnéSubscription V rozevíracím seznamu vyberte předplatné Azure, které se používá pro cluster.From the drop-down list, select the Azure subscription that's used for the cluster.
    Skupina prostředkůResource group Vytvořte skupinu prostředků nebo vyberte existující.Create a resource group or select an existing resource group. Skupina prostředků je kontejner komponent Azure.A resource group is a container of Azure components. V tomto případě skupina prostředků obsahuje cluster HDInsight a závislý účet služby Azure Storage.In this case, the resource group contains the HDInsight cluster and the dependent Azure Storage account.
    Název clusteruCluster name Zadejte globálně jedinečný název.Enter a globally unique name. Název může obsahovat až 59 znaků včetně písmen, číslic a spojovníků.The name can consist of up to 59 characters including letters, numbers, and hyphens. První a poslední znak názvu nemůže být pomlčka.The first and last characters of the name cannot be hyphens.
    Region (Oblast)Region V rozevíracím seznamu vyberte oblast, ve které se cluster vytvoří.From the drop-down list, select a region where the cluster is created. Vyberte oblast blíže pro lepší výkon.Choose a region closer to you for better performance.
    Typ clusteruCluster type Vyberte Vybrat typ clusteru a otevřete seznam.Select Select cluster type to open a list. V seznamu vyberte jako typ clusteru Kafka .From the list, select Kafka as the cluster type.
    VerzeVersion Bude zadána výchozí verze typu clusteru.The default version for the cluster type will be specified. V rozevíracím seznamu vyberte, pokud chcete zadat jinou verzi.Select from the drop-down list if you wish to specify a different version.
    Přihlašovací uživatelské jméno a heslo clusteruCluster login username and password Výchozí přihlašovací jméno je admin . Heslo musí mít minimálně 10 znaků a musí obsahovat aspoň jedno číslo, jedno velké písmeno a jedno malé písmeno, jeden jiný než alfanumerický znak (kromě znaků) ) .The default login name is admin . The password must be at least 10 characters in length and must contain at least one digit, one uppercase, and one lower case letter, one non-alphanumeric character (except characters ' " ` ). Ujistěte se, že nezadáváte běžné heslo, jako je například Pass@word1.Make sure you do not provide common passwords such as "Pass@word1".
    Uživatelské jméno Secure Shell (SSH)Secure Shell (SSH) username Výchozí uživatelské jméno je sshuser .The default username is sshuser . Pro uživatelské jméno SSH můžete zadat jiný název.You can provide another name for the SSH username.
    Použít heslo přihlášení clusteru pro SSHUse cluster login password for SSH Toto políčko zaškrtněte, pokud chcete pro uživatele SSH použít stejné heslo jako ten, který jste zadali pro uživatele přihlášení clusteru.Select this check box to use the same password for SSH user as the one you provided for the cluster login user.

    Základy vytváření clusterů Azure Portal

    Každá oblast Azure (umístění) poskytuje domény selhání .Each Azure region (location) provides fault domains . Doména selhání je logické seskupení základního hardwaru v datovém centru Azure.A fault domain is a logical grouping of underlying hardware in an Azure data center. Všechny domény selhání sdílí společný zdroje napájení a síťový přepínač.Each fault domain shares a common power source and network switch. Virtuální počítače a spravované disky, které implementují uzly v clusteru služby HDInsight, jsou distribuované napříč těmito doménami selhání.The virtual machines and managed disks that implement the nodes within an HDInsight cluster are distributed across these fault domains. Tato architektura omezuje potenciální dopad selhání fyzického hardwaru.This architecture limits the potential impact of physical hardware failures.

    Pro zajištění vysoké dostupnosti dat vyberte oblast (umístění), které obsahuje tři domény selhání .For high availability of data, select a region (location) that contains three fault domains . Informace o počtu domén selhání v oblasti najdete v dokumentu popisujícím dostupnost Linuxových virtuálních počítačů.For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

    Vyberte kartu Další: úložiště >> , abyste mohli přejít k nastavení úložiště.Select the Next: Storage >> tab to advance to the storage settings.

  5. Na kartě úložiště zadejte následující hodnoty:From the Storage tab, provide the following values:

    VlastnostProperty PopisDescription
    Typ primárního úložištěPrimary storage type Použijte výchozí hodnotu Azure Storage .Use the default value Azure Storage .
    Metoda výběruSelection method Použijte výchozí hodnotu vybrat ze seznamu .Use the default value Select from list .
    Účet primárního úložištěPrimary storage account Pomocí rozevíracího seznamu vyberte existující účet úložiště, nebo vyberte vytvořit novou .Use the drop-down list to select an existing storage account, or select Create new . Pokud vytvoříte nový účet, musí mít název délku 3 až 24 znaků a může obsahovat jenom číslice a malá písmena.If you create a new account, the name must be between 3 and 24 characters in length, and can include numbers and lowercase letters only
    KontejnerContainer Použijte automaticky vyplněnou hodnotu.Use the auto-populated value.

    Začínáme s HDInsight Linux poskytují hodnoty úložiště clusteruHDInsight Linux get started provide cluster storage values

    Vyberte kartu zabezpečení + sítě .Select the Security + networking tab.

  6. Pro tento rychlý Start ponechte výchozí nastavení zabezpečení.For this Quickstart, leave the default security settings. Další informace o Balíčku zabezpečení podniku najdete v tématu Konfigurace clusteru HDInsight s Balíčkem zabezpečení podniku pomocí služby Azure Active Directory Domain Services.To learn more about Enterprise Security package, visit Configure a HDInsight cluster with Enterprise Security Package by using Azure Active Directory Domain Services. Informace o tom, jak používat vlastní klíč k šifrování Apache Kafka disku, najdete v tématu šifrování klíčového disku spravovaného zákazníky .To learn how to use your own key for Apache Kafka Disk Encryption, visit Customer-managed key disk encryption

    Pokud chcete svůj cluster připojit k virtuální síti, vyberte virtuální síť v rozevíracím seznamu Virtuální síť .If you would like to connect your cluster to a virtual network, select a virtual network from the Virtual network dropdown.

    Přidání clusteru do virtuální sítě

    Vyberte kartu Konfigurace + ceny .Select the Configuration + pricing tab.

  7. Aby byla zajištěna dostupnost Apache Kafka ve službě HDInsight, musí být položka počet uzlů pro uzel pracovního procesu nastavena na 3 nebo vyšší.To guarantee availability of Apache Kafka on HDInsight, the number of nodes entry for Worker node must be set to 3 or greater. Výchozí hodnota je 4.The default value is 4.

    Položka standardní disky na pracovní uzel nakonfiguruje škálovatelnost Apache Kafka v HDInsight.The Standard disks per worker node entry configures the scalability of Apache Kafka on HDInsight. Apache Kafka ve službě HDInsight používá k ukládání dat místní disky virtuálních počítačů v clusteru.Apache Kafka on HDInsight uses the local disk of the virtual machines in the cluster to store data. Platforma Apache Kafka je náročná na vstupně-výstupní operace, proto se k zajištění vysoké propustnosti a vyšší kapacity úložiště na každý uzel využívají Spravované disky Azure.Apache Kafka is I/O heavy, so Azure Managed Disks are used to provide high throughput and more storage per node. Typ spravovaného disku může být buď Standardní (HDD), nebo Prémiový (SSD).The type of managed disk can be either Standard (HDD) or Premium (SSD). Typ disku závisí na velikosti virtuálního počítače používaného pracovními uzly (zprostředkovateli Apache Kafka).The type of disk depends on the VM size used by the worker nodes (Apache Kafka brokers). U virtuálních počítačů řady DS a GS se automaticky používají disky Premium.Premium disks are used automatically with DS and GS series VMs. Všechny ostatní typy virtuálních počítačů používají standardní disky.All other VM types use standard.

    Nastavení velikosti clusteru Apache Kafka

    Vyberte kartu Revize + vytvořit .Select the Review + create tab.

  8. Zkontrolujte konfiguraci clusteru.Review the configuration for the cluster. Změňte všechna nastavení, která jsou nesprávná.Change any settings that are incorrect. Nakonec vyberte vytvořit a vytvořte cluster.Finally, select Create to create the cluster.

    Souhrn konfigurace clusteru Kafka

    Vytvoření clusteru trvá přibližně 20 minut.It can take up to 20 minutes to create the cluster.

Připojení ke clusteruConnect to the cluster

  1. Připojte se ke clusteru pomocí příkazu SSH .Use ssh command to connect to your cluster. Níže uvedený příkaz upravte tak, že ho nahradíte názvem clusteru a pak zadáte tento příkaz:Edit the command below by replacing CLUSTERNAME with the name of your cluster, and then enter the command:

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
    
  2. Po zobrazení výzvy zadejte heslo uživatele SSH.When prompted, enter the password for the SSH user.

    Po připojení se zobrazí informace podobné tomuto textu:Once connected, you see information similar to the following text:

    Authorized uses only. All activity may be monitored and reported.
    Welcome to Ubuntu 16.04.4 LTS (GNU/Linux 4.13.0-1011-azure x86_64)
    
     * Documentation:  https://help.ubuntu.com
     * Management:     https://landscape.canonical.com
     * Support:        https://ubuntu.com/advantage
    
      Get cloud support with Ubuntu Advantage Cloud Guest:
        https://www.ubuntu.com/business/services/cloud
    
    83 packages can be updated.
    37 updates are security updates.
    
    
    Welcome to Apache Kafka on HDInsight.
    
    Last login: Thu Mar 29 13:25:27 2018 from 108.252.109.241
    

Získání informací o hostiteli Apache Zookeeper a BrokerGet the Apache Zookeeper and Broker host information

Při práci s Kafka je nutné znát hostitele Apache Zookeeper a Broker .When working with Kafka, you must know the Apache Zookeeper and Broker hosts. Tito hostitelé se používají s rozhraním Apache Kafka API a mnohými z nástrojů, které se se systémem Kafka dodávají.These hosts are used with the Apache Kafka API and many of the utilities that ship with Kafka.

V této části získáte informace o hostiteli z REST API Apache Ambari v clusteru.In this section, you get the host information from the Apache Ambari REST API on the cluster.

  1. Nainstalujte JQprocesor JSON pro příkazový řádek.Install jq, a command-line JSON processor. Tento nástroj slouží k analýze dokumentů JSON a je užitečný při analýze informací o hostiteli.This utility is used to parse JSON documents, and is useful in parsing the host information. V otevřeném připojení SSH zadejte následující příkaz, který chcete nainstalovat jq :From the open SSH connection, enter following command to install jq:

    sudo apt -y install jq
    
  2. Nastavte proměnnou hesla.Set up password variable. Nahraďte PASSWORD heslem přihlášení clusteru a pak zadejte příkaz:Replace PASSWORD with the cluster login password, then enter the command:

    export password='PASSWORD'
    
  3. Extrahujte správně název clusteru použita.Extract the correctly cased cluster name. V závislosti na tom, jak byl cluster vytvořen, může být skutečná velikost názvu clusteru odlišná, než očekáváte.The actual casing of the cluster name may be different than you expect, depending on how the cluster was created. Tento příkaz získá skutečnou velikost písmen a uloží ji do proměnné.This command will obtain the actual casing, and then store it in a variable. Zadejte následující příkaz:Enter the following command:

    export clusterName=$(curl -u admin:$password -sS -G "http://headnodehost:8080/api/v1/clusters" | jq -r '.items[].Clusters.cluster_name')
    

    Poznámka

    Pokud provádíte tento proces mimo cluster, existuje jiný postup pro uložení názvu clusteru.If you're doing this process from outside the cluster, there is a different procedure for storing the cluster name. Získá název clusteru z Azure Portal malými písmeny.Get the cluster name in lower case from the Azure portal. Pak v následujícím příkazu nahraďte název clusteru <clustername> a spusťte ho: export clusterName='<clustername>' .Then, substitute the cluster name for <clustername> in the following command and execute it: export clusterName='<clustername>'.

  4. K nastavení proměnné prostředí s informacemi o hostiteli Zookeeper použijte následující příkaz.To set an environment variable with Zookeeper host information, use the command below. Příkaz načte všechny hostitele Zookeeper a potom vrátí pouze první dvě položky.The command retrieves all Zookeeper hosts, then returns only the first two entries. Je to proto, že chcete určitou redundanci pro případ, že jeden hostitel bude nedosažitelný.This is because you want some redundancy in case one host is unreachable.

    export KAFKAZKHOSTS=$(curl -sS -u admin:$password -G https://$clusterName.azurehdinsight.net/api/v1/clusters/$clusterName/services/ZOOKEEPER/components/ZOOKEEPER_SERVER | jq -r '["\(.host_components[].HostRoles.host_name):2181"] | join(",")' | cut -d',' -f1,2);
    

    Poznámka

    Tento příkaz vyžaduje přístup Ambari.This command requires Ambari access. Pokud je váš cluster za NSG, spusťte tento příkaz z počítače, který má přístup k Ambari.If your cluster is behind an NSG, run this command from a machine that can access Ambari.

  5. Pokud chcete ověřit správné nastavení proměnné prostředí, použijte následující příkaz:To verify that the environment variable is set correctly, use the following command:

    echo $KAFKAZKHOSTS
    

    Tento příkaz by měl vrátit informace podobné následujícímu textu:This command returns information similar to the following text:

    zk0-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181,zk2-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181

  6. K nastavení proměnné prostředí s použitím informací o hostiteli zprostředkovatele Apache Kafka použijte následující příkaz:To set an environment variable with Apache Kafka broker host information, use the following command:

    export KAFKABROKERS=$(curl -sS -u admin:$password -G https://$clusterName.azurehdinsight.net/api/v1/clusters/$clusterName/services/KAFKA/components/KAFKA_BROKER | jq -r '["\(.host_components[].HostRoles.host_name):9092"] | join(",")' | cut -d',' -f1,2);
    

    Poznámka

    Tento příkaz vyžaduje přístup Ambari.This command requires Ambari access. Pokud je váš cluster za NSG, spusťte tento příkaz z počítače, který má přístup k Ambari.If your cluster is behind an NSG, run this command from a machine that can access Ambari.

  7. Pokud chcete ověřit správné nastavení proměnné prostředí, použijte následující příkaz:To verify that the environment variable is set correctly, use the following command:

    echo $KAFKABROKERS
    

    Tento příkaz by měl vrátit informace podobné následujícímu textu:This command returns information similar to the following text:

    wn1-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092,wn0-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092

Správa témat Apache KafkaManage Apache Kafka topics

Kafka ukládá datové proudy do témat .Kafka stores streams of data in topics . Témata můžete spravovat pomocí nástroje kafka-topics.sh.You can use the kafka-topics.sh utility to manage topics.

  • K vytvoření tématu použijte tento příkaz v připojení SSH:To create a topic , use the following command in the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 3 --partitions 8 --topic test --zookeeper $KAFKAZKHOSTS
    

    Tento příkaz se připojí k hostiteli Zookeeper s použitím informací uložených v proměnné $KAFKAZKHOSTS.This command connects to Zookeeper using the host information stored in $KAFKAZKHOSTS. Pak vytvoří téma Apache Kafka s názvem test .It then creates an Apache Kafka topic named test .

    • Data uložená v tomto tématu jsou rozdělená mezi osm oddílů.Data stored in this topic is partitioned across eight partitions.

    • Každý oddíl se replikuje mezi tři pracovní uzly v clusteru.Each partition is replicated across three worker nodes in the cluster.

      • Pokud jste vytvořili cluster v oblasti Azure, která poskytuje tři domény selhání, použijte faktor replikace 3.If you created the cluster in an Azure region that provides three fault domains, use a replication factor of 3. Jinak použijte faktor replikace 4.Otherwise, use a replication factor of 4.

      • V oblastech se třemi doménami selhání faktor replikace 3 umožní rozložení replik mezi domény selhání.In regions with three fault domains, a replication factor of 3 allows replicas to be spread across the fault domains. V oblastech se dvěma doménami selhání faktor replikace 4 rozloží repliky rovnoměrně mezi domény selhání.In regions with two fault domains, a replication factor of four spreads the replicas evenly across the domains.

      • Informace o počtu domén selhání v oblasti najdete v dokumentu popisujícím dostupnost Linuxových virtuálních počítačů.For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

      • Apache Kafka nemá o doménách selhání Azure žádné informace.Apache Kafka is not aware of Azure fault domains. Při vytváření replik oddílu pro témata se nemusí repliky distribuovat správně z hlediska vysoké dostupnosti.When creating partition replicas for topics, it may not distribute replicas properly for high availability.

      • Pokud chcete zajistit vysokou dostupnost, použijte Nástroj pro obnovení rovnováhy oddílu Apache Kafka.To ensure high availability, use the Apache Kafka partition rebalance tool. Tento nástroj se musí spustit z připojení SSH k hlavnímu uzlu clusteru Apache Kafka.This tool must be ran from an SSH connection to the head node of your Apache Kafka cluster.

      • K zajištění nejvyšší dostupnosti dat Apache Kafka byste měli obnovit rovnováhu replik oddílů pro vaše téma v těchto situacích:For the highest availability of your Apache Kafka data, you should rebalance the partition replicas for your topic when:

        • Při vytvoření nového tématu nebo oddíluYou create a new topic or partition

        • Při vertikálním navýšení kapacity clusteruYou scale up a cluster

  • K zobrazení seznamu témat použijte tento příkaz:To list topics , use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper $KAFKAZKHOSTS
    

    Tento příkaz vypíše seznam témat dostupných v clusteru Apache Kafka.This command lists the topics available on the Apache Kafka cluster.

  • K odstranění tématu použijte tento příkaz:To delete a topic , use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --delete --topic topicname --zookeeper $KAFKAZKHOSTS
    

    Tento příkaz odstraní téma s názvem topicname.This command deletes the topic named topicname.

    Upozornění

    Pokud odstraníte dříve vytvořené téma test, pak ho musíte vytvořit znovu.If you delete the test topic created earlier, then you must recreate it. Používá se v dalších krocích tohoto dokumentu.It is used by steps later in this document.

Další informace o příkazech, které jsou k dispozici v nástroji kafka-topics.sh, získáte pomocí tohoto příkazu:For more information on the commands available with the kafka-topics.sh utility, use the following command:

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh

Produkce a konzumace záznamůProduce and consume records

Kafka ukládá záznamy v tématech.Kafka stores records in topics. Záznamy jsou vytvářeny producenty a spotřebovávány konzumenty .Records are produced by producers , and consumed by consumers . Producenti a konzumenti komunikují se službou zprostředkovatele Kafka .Producers and consumers communicate with the Kafka broker service. Každý pracovní uzel v clusteru HDInsight je hostitelem zprostředkovatele Apache Kafka.Each worker node in your HDInsight cluster is an Apache Kafka broker host.

Pokud chcete uložit záznamy do dříve vytvořeného tématu test a pak je načíst pomocí konzumenta, použijte následující postup:To store records into the test topic you created earlier, and then read them using a consumer, use the following steps:

  1. Pokud chcete zapsat záznamy do tématu, použijte nástroj kafka-console-producer.sh z připojení SSH:To write records to the topic, use the kafka-console-producer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list $KAFKABROKERS --topic test
    

    Po tomto příkazu přejdete na prázdný řádek.After this command, you arrive at an empty line.

  2. Na prázdný řádek zadejte textovou zprávu a stiskněte Enter.Type a text message on the empty line and hit enter. Tímto způsobem zadejte několik zpráv a pak se pomocí klávesové zkratky Ctrl + C vraťte na normální příkazový řádek.Enter a few messages this way, and then use Ctrl + C to return to the normal prompt. Každý řádek se odešle do tématu Apache Kafka jako samostatný záznam.Each line is sent as a separate record to the Apache Kafka topic.

  3. Pokud chcete číst záznamy z tématu, použijte nástroj kafka-console-consumer.sh z připojení SSH:To read records from the topic, use the kafka-console-consumer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server $KAFKABROKERS --topic test --from-beginning
    

    Tento příkaz načte záznamy z tématu a zobrazí je.This command retrieves the records from the topic and displays them. Parametr --from-beginning způsobí, že konzument začne načítat od začátku datového proudu a zpracuje tak všechny záznamy.Using --from-beginning tells the consumer to start from the beginning of the stream, so all records are retrieved.

    Pokud používáte starší verzi Kafka, nahraďte --bootstrap-server $KAFKABROKERS za --zookeeper $KAFKAZKHOSTS.If you are using an older version of Kafka, replace --bootstrap-server $KAFKABROKERS with --zookeeper $KAFKAZKHOSTS.

  4. Konzumenta zastavíte stisknutím Ctrl+C .Use Ctrl + C to stop the consumer.

Můžete také programově vytvořit producenty a spotřebitele.You can also programmatically create producers and consumers. Příklad použití tohoto rozhraní API najdete v dokumentu rozhraní API pro Apache Kafka výrobce a příjemce s využitím služby HDInsight.For an example of using this API, see the Apache Kafka Producer and Consumer API with HDInsight document.

Vyčištění prostředkůClean up resources

Pokud chcete vyčistit prostředky vytvořené v tomto rychlém startu, můžete odstranit skupinu prostředků.To clean up the resources created by this quickstart, you can delete the resource group. Odstraněním skupiny prostředků odstraníte také přidružený cluster HDInsight a všechny další prostředky, které jsou k příslušné skupině prostředků přidružené.Deleting the resource group also deletes the associated HDInsight cluster, and any other resources associated with the resource group.

Odebrání skupiny prostředků pomocí webu Azure Portal:To remove the resource group using the Azure portal:

  1. Na webu Azure Portal rozbalením nabídky na levé straně otevřete nabídku služeb a pak zvolte Skupiny prostředků . Zobrazí se seznam skupin prostředků.In the Azure portal, expand the menu on the left side to open the menu of services, and then choose Resource Groups to display the list of your resource groups.
  2. Vyhledejte skupinu prostředků, kterou chcete odstranit, a klikněte pravým tlačítkem na tlačítko Další (...) na pravé straně seznamu.Locate the resource group to delete, and then right-click the More button (...) on the right side of the listing.
  3. Vyberte Odstranit skupinu prostředků a potvrďte tuto akci.Select Delete resource group , and then confirm.

Upozornění

Odstranění clusteru Apache Kafka v HDInsight odstraní všechna data uložená v Kafka.Deleting an Apache Kafka cluster on HDInsight deletes any data stored in Kafka.

Další krokyNext steps