Quickstart: Apache Kafka-cluster maken in Azure HDInsight met behulp van Azure portalQuickstart: Create Apache Kafka cluster in Azure HDInsight using Azure portal

Apache Kafka is een open-source, gedistribueerd streamingplatform.Apache Kafka is an open-source, distributed streaming platform. Het wordt vaak gebruikt als een berichtenbroker, omdat het een functionaliteit biedt die vergelijkbaar is met een publicatie-/abonnementswachtrij voor berichten.It's often used as a message broker, as it provides functionality similar to a publish-subscribe message queue.

In deze snelstart leert u hoe u met Azure Portal een Apache Kafka-cluster maakt.In this quickstart, you learn how to create an Apache Kafka cluster using the Azure portal. U leert ook hoe u de inbegrepen hulpprogramma's gebruikt voor het verzenden en ontvangen van berichten via Apache Kafka.You also learn how to use included utilities to send and receive messages using Apache Kafka.

Waarschuwing

Voor HDInsight-clusters worden pro rata per minuut, of u ze of niet gebruiken.Billing for HDInsight clusters is prorated per minute, whether you use them or not. Zorg ervoor dat uw cluster verwijderen nadat u klaar bent met het gebruik ervan.Be sure to delete your cluster after you finish using it. Zie verwijderen van een HDInsight-cluster.See how to delete an HDInsight cluster.

De Apache Kafka-API is alleen toegankelijk voor resources binnen hetzelfde virtuele netwerk.The Apache Kafka API can only be accessed by resources inside the same virtual network. In deze snelstart benadert u het cluster rechtstreeks via SSH.In this quickstart, you access the cluster directly using SSH. Als u andere services, netwerken of virtuele machines wilt verbinden met Apache Kafka, moet u eerst een virtueel netwerk maken en vervolgens de resources maken in het netwerk.To connect other services, networks, or virtual machines to Apache Kafka, you must first create a virtual network and then create the resources within the network. Zie het document Verbinding maken met Apache Kafka via een virtueel netwerk voor meer informatie.For more information, see the Connect to Apache Kafka using a virtual network document.

Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.If you don't have an Azure subscription, create a free account before you begin.

VereistenPrerequisites

Een SSH-client.An SSH client. Zie voor meer informatie Verbinding maken met HDInsight (Apache Hadoop) via SSH.For more information, see Connect to HDInsight (Apache Hadoop) using SSH.

Apache Kafka-cluster makenCreate an Apache Kafka cluster

Gebruik de volgende stappen om een Apache Kafka-cluster te maken in HDInsight:To create an Apache Kafka on HDInsight cluster, use the following steps:

  1. Meld u aan bij Azure Portal.Sign in to the Azure portal.

  2. In het menu links, gaat u naar + een resource maken > Analytics > HDInsight.From the left menu, navigate to + Create a resource > Analytics > HDInsight.

    Een HDInsight-cluster maken

  3. Geef op het tabblad Basis de volgende informatie op:From Basics, enter or select the following information:

    InstellingSetting WaardeValue
    ClusternaamCluster Name Een unieke naam voor het HDInsight-cluster.A unique name for the HDInsight cluster.
    AbonnementSubscription Selecteer uw abonnement.Select your subscription.

    Selecteer Clustertype om het deelvenster Clusterconfiguratie weer te geven.Select Cluster Type to display the Cluster configuration.

    Basisconfiguratie van Apache Kafka-cluster in HDInsight

  4. Van clusterconfiguratie, selecteert u de volgende waarden:From Cluster configuration, select the following values:

    InstellingSetting WaardeValue
    ClustertypeCluster Type KafkaKafka
    VersionVersion Kafka 1.1.0 (HDI 3.6)Kafka 1.1.0 (HDI 3.6)

    Selecteer Selecteer opslaan van het cluster-instellingen en gaat u terug naar basisbeginselen.Select Select to save the cluster type settings and return to Basics.

    Clustertype selecteren

  5. Geef op het tabblad Basis de volgende informatie op:From Basics, enter or select the following information:

    InstellingSetting WaardeValue
    Gebruikersnaam voor clusteraanmeldgegevensCluster login username De aanmeldingsnaam voor het werken met webservices of REST-API's die worden gehost in het cluster.The login name when accessing web services or REST APIs hosted on the cluster. Laat de standaardwaarde (admin) staan.Keep the default value (admin).
    Wachtwoord voor clusteraanmeldgegevensCluster login password Het aanmeldingswachtwoord voor het werken met webservices of REST-API's die worden gehost in het cluster.The login password when accessing web services or REST APIs hosted on the cluster.
    SSH-gebruikersnaam (Secure Shell)Secure Shell (SSH) username De aanmeldingsgegevens voor toegang tot het cluster via SSH.The login used when accessing the cluster over SSH. Het wachtwoord is standaard hetzelfde als het aanmeldingswachtwoord van het cluster.By default the password is the same as the cluster login password.
    ResourcegroepResource Group De resourcegroep waarin het cluster wordt gemaakt.The resource group to create the cluster in.
    LocatieLocation De Azure-regio waarin het cluster wordt gemaakt.The Azure region to create the cluster in.

    Elke Azure-regio (locatie) heeft foutdomeinen.Each Azure region (location) provides fault domains. Een foutdomein is een logische groepering van de onderliggende hardware in een Azure-datacenter.A fault domain is a logical grouping of underlying hardware in an Azure data center. Elk foutdomein deelt een algemene voedingsbron en netwerkswitch.Each fault domain shares a common power source and network switch. De virtuele machines en beheerde schijven die de knooppunten in een HDInsight-cluster implementeren zijn verdeeld over deze foutdomeinen.The virtual machines and managed disks that implement the nodes within an HDInsight cluster are distributed across these fault domains. Deze architectuur beperkt de potentiële impact van problemen met de fysieke hardware.This architecture limits the potential impact of physical hardware failures.

    Voor hoge beschikbaarheid van gegevens wordt u geadviseerd om een regio (locatie) te selecteren die drie foutdomeinen heeft.For high availability of data, select a region (location) that contains three fault domains. Raadpleeg het document Beschikbaarheid van virtuele Linux-machines voor informatie over het aantal foutdomeinen in een regio.For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

    Abonnement selecteren

    Selecteer volgende om eenvoudige configuratie te voltooien.Select Next to finish basic configuration.

  6. Laat voor deze snelstart de standaardbeveiligingsinstellingen staan.For this quickstart, leave the default security settings. Ga naar Een HDInsight-cluster configureren met Enterprise Security Package met behulp van Azure Active Directory Domain Services voor meer informatie over Enterprise Security Package.To learn more about Enterprise Security package, visit Configure a HDInsight cluster with Enterprise Security Package by using Azure Active Directory Domain Services. Ga naar Bring Your Own Key voor Apache Kafka in Azure HDInsight voor meer informatie over het gebruik van uw eigen sleutel voor Apache Kafka-schijfversleutelingTo learn how to use your own key for Apache Kafka Disk Encryption, visit Bring your own key for Apache Kafka on Azure HDInsight

    Als u uw cluster verbinding wilt laten maken met een virtueel netwerk, selecteert u een virtueel netwerk in de vervolgkeuzelijst Virtueel netwerk.If you would like to connect your cluster to a virtual network, select a virtual network from the Virtual network dropdown.

    Cluster toevoegen aan virtueel netwerk

  7. Selecteer of maak bij Opslag een opslagaccount.From Storage, select or create a Storage account. Voor de stappen in dit document laat u de andere velden op de standaardwaarden ingesteld.For the steps in this document, leave the other fields at the default values. Gebruik de knop Volgende om de opslagconfiguratie op te slaan.Use the Next button to save storage configuration. Zie voor informatie over het gebruik van Data Lake Storage Gen2 Snelstart: Clusters instellen in HDInsight.For more information on using Data Lake Storage Gen2, see Quickstart: Set up clusters in HDInsight.

    De instellingen van het opslagaccount voor HDInsight configureren

  8. Selecteer bij Toepassingen (optioneel) de optie Volgende om door te gaan met de standaardinstellingen.From Applications (optional), select Next to continue with the default settings.

  9. Selecteer bij Grootte van cluster de optie Volgende om door te gaan met de standaardinstellingen.From Cluster size, select Next to continue with the default settings.

    Om de beschikbaarheid van Apache Kafka in HDInsight te waarborgen, moet u het aantal werkknooppunten instellen op minimaal 3.To guarantee availability of Apache Kafka on HDInsight, the number of worker nodes entry must be set to 3 or greater. De standaardwaarde is 4.The default value is 4.

    De waarde voor schijven per werkknooppunt configureert de schaalbaarheid van Apache Kafka in HDInsight.The disks per worker node entry configures the scalability of Apache Kafka on HDInsight. Apache Kafka in HDInsight gebruikt de lokale schijf van de virtuele machines in het cluster voor het opslaan van gegevens.Apache Kafka on HDInsight uses the local disk of the virtual machines in the cluster to store data. Omdat Apache Kafka veel gebruikmaakt van invoer/uitvoer, wordt Azure Managed Disks gebruikt voor een hoge doorvoer en meer opslag per knooppunt.Apache Kafka is I/O heavy, so Azure Managed Disks are used to provide high throughput and more storage per node. Het type beheerde schijf is Standaard (HDD) of Premium (SSD).The type of managed disk can be either Standard (HDD) or Premium (SSD). Het type schijf is afhankelijk van de VM-grootte die wordt gebruikt door de werkknooppunten (Apache Kafka-brokers).The type of disk depends on the VM size used by the worker nodes (Apache Kafka brokers). Premium-schijven worden automatisch gebruikt met VM's uit de DS- en GS-serie.Premium disks are used automatically with DS and GS series VMs. Alle andere VM-typen gebruiken standaardschijven.All other VM types use standard.

    De Apache Kafka-clustergrootte instellen

  10. Selecteer bij Geavanceerde instellingen de optie Volgende om door te gaan met de standaardinstellingen.From Advanced settings, select Next to continue with the default settings.

  11. Controleer bij Samenvatting de configuratie van het cluster.From the Summary, review the configuration for the cluster. Gebruik de koppeling Bewerken om onjuiste instellingen te wijzigen.Use the Edit links to change any settings that are incorrect. Selecteer ten slotte maken om het cluster te maken.Finally, select Create to create the cluster.

    Samenvatting clusterconfiguratie

    Het kan tot 20 minuten duren om het cluster te maken.It can take up to 20 minutes to create the cluster.

Verbinding maken met het clusterConnect to the cluster

  1. Gebruik de volgende opdracht om verbinding te maken met het primaire hoofdknooppunt van het Apache Kafka-cluster.To connect to the primary head node of the Apache Kafka cluster, use the following command. Vervang sshuser door de SSH-gebruikersnaam.Replace sshuser with the SSH user name. Vervang mykafka door de naam van uw Apache Kafka-cluster.Replace mykafka with the name of your Apache Kafkacluster.

    ssh sshuser@mykafka-ssh.azurehdinsight.net
    
  2. Wanneer u voor het eerst verbinding maakt met het cluster, wordt in de SSH-client mogelijk de waarschuwing weergegeven dat de authenticiteit van de host niet kan worden vastgesteld.When you first connect to the cluster, your SSH client may display a warning that the authenticity of the host can't be established. Wanneer u wordt gevraagd de host te bevestigen, typt u yes en drukt u vervolgens op Enter om de host toe te voegen aan de lijst met vertrouwde servers van uw SSH-client.When prompted type yes, and then press Enter to add the host to your SSH client's trusted server list.

  3. Voer het wachtwoord voor de SSH-gebruiker in wanneer hierom wordt gevraagd.When prompted, enter the password for the SSH user.

    Zodra er verbinding is gemaakt, ziet u informatie die er ongeveer als volgt uitziet:Once connected, you see information similar to the following text:

    Authorized uses only. All activity may be monitored and reported.
    Welcome to Ubuntu 16.04.4 LTS (GNU/Linux 4.13.0-1011-azure x86_64)
    
     * Documentation:  https://help.ubuntu.com
     * Management:     https://landscape.canonical.com
     * Support:        https://ubuntu.com/advantage
    
      Get cloud support with Ubuntu Advantage Cloud Guest:
        https://www.ubuntu.com/business/services/cloud
    
    83 packages can be updated.
    37 updates are security updates.
    
    
    Welcome to Apache Kafka on HDInsight.
    
    Last login: Thu Mar 29 13:25:27 2018 from 108.252.109.241
    ssuhuser@hn0-mykafk:~$
    

Informatie over de Apache Zookeeper- en Broker-hosts ophalenGet the Apache Zookeeper and Broker host information

Als u met Kafka werkt, moet u de Zookeeper- en Broker-hosts kennen.When working with Kafka, you must know the Apache Zookeeper and Broker hosts. Deze hosts worden gebruikt met de Apache Kafka-API en veel van de hulpprogramma's die bij Kafka worden meegeleverd.These hosts are used with the Apache Kafka API and many of the utilities that ship with Kafka.

In deze sectie vraagt u de hostgegevens op uit de Apache Ambari REST API in het cluster.In this section, you get the host information from the Apache Ambari REST API on the cluster.

  1. Installeer jq, een opdrachtregelprogramma JSON-processor.Install jq, a command-line JSON processor. Dit hulpprogramma wordt gebruikt voor het parseren van JSON-documenten, en is handig bij het parseren van de informatie over de host.This utility is used to parse JSON documents, and is useful in parsing the host information. Van de SSH-verbinding openen, voert u de volgende opdracht uit om te installeren jq:From the open SSH connection, enter following command to install jq:

    sudo apt -y install jq
    
  2. Omgevingsvariabelen instellen.Set up environment variables. Vervang PASSWORD en CLUSTERNAME naam respectievelijk met het wachtwoord voor clusteraanmelding en cluster, voert u de opdracht:Replace PASSWORD and CLUSTERNAME with the cluster login password and cluster name respectively, then enter the command:

    export password='PASSWORD'
    export clusterNameA='CLUSTERNAME'
    
  3. De naam van cluster extract correct-indeling.Extract correctly cased cluster name. De werkelijke behuizing van de naam van het cluster is mogelijk anders dan u verwacht, afhankelijk van hoe het cluster is gemaakt.The actual casing of the cluster name may be different than you expect, depending on how the cluster was created. Met deze opdracht wordt het werkelijke hoofdlettergebruik verkrijgen, opslaan in een variabele en vervolgens de naam van de juiste omhuld en de naam die u eerder hebt opgegeven, worden weergegeven.This command will obtain the actual casing, store it in a variable, and then display the correctly cased name, and the name you provided earlier. Voer de volgende opdracht in:Enter the following command:

    export clusterName=$(curl -u admin:$password -sS -G "https://$clusterNameA.azurehdinsight.net/api/v1/clusters" | jq -r '.items[].Clusters.cluster_name')
    echo $clusterName, $clusterNameA
    
  4. Gebruik de onderstaande opdracht om een omgevingsvariabele met hostinformatie van Zookeeper.To set an environment variable with Zookeeper host information, use the command below. De opdracht haalt alle Zookeeper-hosts en retourneert alleen de eerste twee vermeldingen.The command retrieves all Zookeeper hosts, then returns only the first two entries. De reden hiervoor is dat u een bepaalde mate van redundantie wilt voor het geval één host onbereikbaar is.This is because you want some redundancy in case one host is unreachable.

    export KAFKAZKHOSTS=`curl -sS -u admin:$password -G http://headnodehost:8080/api/v1/clusters/$clusterName/services/ZOOKEEPER/components/ZOOKEEPER_SERVER | jq -r '["\(.host_components[].HostRoles.host_name):2181"] | join(",")' | cut -d',' -f1,2`
    

    Met deze opdracht wordt rechtstreeks een query uitgevoerd op de Ambari-service op het hoofdknooppunt van het cluster.This command directly queries the Ambari service on the cluster head node. U kunt ook openen via het openbare adres van Ambari https://$CLUSTERNAME.azurehdinsight.net:80/.You can also access Ambari using the public address of https://$CLUSTERNAME.azurehdinsight.net:80/. Sommige netwerkconfiguraties kunnen de toegang tot het openbare adres voorkomen.Some network configurations can prevent access to the public address. Dit is bijvoorbeeld het geval als er een netwerkbeveiligingsgroep (NSG) wordt gebruikt om de toegang tot HDInsight in een virtueel netwerk te beperken.For example, using Network Security Groups (NSG) to restrict access to HDInsight in a virtual network.

  5. Gebruik de volgende opdracht om te controleren of de omgevingsvariabele juist is ingesteld:To verify that the environment variable is set correctly, use the following command:

    echo $KAFKAZKHOSTS
    

    Met deze opdracht wordt informatie geretourneerd die lijkt op de volgende tekst:This command returns information similar to the following text:

    zk0-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181,zk2-kafka.eahjefxxp1netdbyklgqj5y1ud.ex.internal.cloudapp.net:2181

  6. Gebruik de volgende opdracht om een omgevingsvariabele in te stellen met brokerhostinformatie van Apache Kafka:To set an environment variable with Apache Kafka broker host information, use the following command:

    export KAFKABROKERS=`curl -sS -u admin:$password -G http://headnodehost:8080/api/v1/clusters/$clusterName/services/KAFKA/components/KAFKA_BROKER | jq -r '["\(.host_components[].HostRoles.host_name):9092"] | join(",")' | cut -d',' -f1,2`
    
  7. Gebruik de volgende opdracht om te controleren of de omgevingsvariabele juist is ingesteld:To verify that the environment variable is set correctly, use the following command:

    echo $KAFKABROKERS
    

    Met deze opdracht wordt informatie geretourneerd die lijkt op de volgende tekst:This command returns information similar to the following text:

    wn1-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092,wn0-kafka.eahjefxxp1netdbyklgqj5y1ud.cx.internal.cloudapp.net:9092

Apache Kafka-onderwerpen beherenManage Apache Kafka topics

Kafka slaat gegevensstromen op in zogenaamde onderwerpen (topics) .Kafka stores streams of data in topics. U kunt het hulpprogramma kafka-topics.sh gebruiken om onderwerpen te beheren.You can use the kafka-topics.sh utility to manage topics.

  • Als u een onderwerp wilt maken, gebruikt u de volgende opdracht in de SSH-verbinding:To create a topic, use the following command in the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --replication-factor 3 --partitions 8 --topic test --zookeeper $KAFKAZKHOSTS
    

    Met deze opdracht brengt u een verbinding met Zookeeper tot stand met behulp van de hostinformatie die is opgeslagen in $KAFKAZKHOSTS.This command connects to Zookeeper using the host information stored in $KAFKAZKHOSTS. Vervolgens wordt er een Apache Kafka-onderwerp gemaakt met de naam test.It then creates an Apache Kafka topic named test.

    • Gegevens die zijn opgeslagen in dit onderwerp worden gepartitioneerd in acht partities.Data stored in this topic is partitioned across eight partitions.

    • Elke partitie wordt gerepliceerd naar drie werkknooppunten in het cluster.Each partition is replicated across three worker nodes in the cluster.

      Als u het cluster hebt gemaakt in een Azure-regio met drie foutdomeinen, gebruikt u een replicatiefactor van drie.If you created the cluster in an Azure region that provides three fault domains, use a replication factor of 3. Gebruik anders een replicatiefactor van vier.Otherwise, use a replication factor of 4.

      In regio's met drie foutdomeinen zorgt een replicatiefactor van drie ervoor dat replica's worden verdeeld over de foutdomeinen.In regions with three fault domains, a replication factor of 3 allows replicas to be spread across the fault domains. In regio's met twee foutdomeinen zorgt een replicatiefactor van vier ervoor dat replica's worden verdeeld over de domeinen.In regions with two fault domains, a replication factor of four spreads the replicas evenly across the domains.

      Raadpleeg het document Beschikbaarheid van virtuele Linux-machines voor informatie over het aantal foutdomeinen in een regio.For information on the number of fault domains in a region, see the Availability of Linux virtual machines document.

      Apache Kafka kan niet overweg met Azure-foutdomeinen.Apache Kafka is not aware of Azure fault domains. Bij het maken van partitiereplica's voor onderwerpen worden replica's mogelijk niet goed gedistribueerd voor hoge beschikbaarheid.When creating partition replicas for topics, it may not distribute replicas properly for high availability.

      Gebruik het partitieherverdelingsprogramma van Apache Kafka voor gegarandeerde hoge beschikbaarheid.To ensure high availability, use the Apache Kafka partition rebalance tool. Dit hulpprogramma moet vanuit een SSH-verbinding naar het hoofdknooppunt van het Apache Kafka-cluster worden uitgevoerd.This tool must be ran from an SSH connection to the head node of your Apache Kafka cluster.

      Om de hoogst mogelijke beschikbaarheid van uw Apache Kafka-gegevens te waarborgen, moet u de partitiereplica's voor uw onderwerp opnieuw indelen wanneer:For the highest availability of your Apache Kafka data, you should rebalance the partition replicas for your topic when:

      • U een nieuw onderwerp of nieuwe partitie maaktYou create a new topic or partition

      • U een cluster omhoog schaaltYou scale up a cluster

  • Gebruik de volgende opdracht om een lijst met onderwerpen op te vragen:To list topics, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper $KAFKAZKHOSTS
    

    Met deze opdracht worden de onderwerpen weergegeven die beschikbaar zijn in het Apache Kafka-cluster.This command lists the topics available on the Apache Kafka cluster.

  • Gebruik de volgende opdracht om een onderwerp te verwijderen:To delete a topic, use the following command:

    /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --delete --topic topicname --zookeeper $KAFKAZKHOSTS
    

    Met deze opdracht verwijdert u het onderwerp met de naam topicname.This command deletes the topic named topicname.

    Waarschuwing

    Als u het onderwerp test verwijdert dat u eerder hebt gemaakt, moet u het opnieuw maken.If you delete the test topic created earlier, then you must recreate it. Het onderwerp wordt namelijk gebruikt in stappen verderop in dit document.It is used by steps later in this document.

Gebruik de volgende opdracht voor meer informatie over de opdrachten die beschikbaar zijn met het hulpprogramma kafka-topics.sh:For more information on the commands available with the kafka-topics.sh utility, use the following command:

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh

Records maken en gebruikenProduce and consume records

Kafka slaat records op in onderwerpen.Kafka stores records in topics. Records worden geproduceerd door producenten en worden gebruikt door consumenten.Records are produced by producers, and consumed by consumers. Producenten en consumenten communiceren met de Kafka-brokerservice.Producers and consumers communicate with the Kafka broker service. Elk werkknooppunt in uw HDInsight-cluster is een Apache Kafka-brokerhost.Each worker node in your HDInsight cluster is an Apache Kafka broker host.

Gebruik de volgende stappen om records op te slaan in het testonderwerp dat u eerder hebt gemaakt. Lees deze vervolgens met behulp van een verbruiker:To store records into the test topic you created earlier, and then read them using a consumer, use the following steps:

  1. Als u records wilt wegschrijven naar het onderwerp, gebruikt u het hulpprogramma kafka-console-producer.sh vanuit de SSH-verbinding:To write records to the topic, use the kafka-console-producer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list $KAFKABROKERS --topic test
    

    Na deze opdracht komt u aan bij een lege regel.After this command, you arrive at an empty line.

  2. Typ een tekstbericht op de lege regel en druk op Enter.Type a text message on the empty line and hit enter. Voer op deze manier enkele berichten in en gebruik vervolgens Ctrl+C om terug te keren naar de normale prompt.Enter a few messages this way, and then use Ctrl + C to return to the normal prompt. Elke regel wordt als afzonderlijke record naar het Apache Kafka-onderwerp verzonden.Each line is sent as a separate record to the Apache Kafka topic.

  3. Als u records wilt lezen uit het onderwerp, gebruikt u het hulpprogramma kafka-console-consumer.sh vanuit de SSH-verbinding:To read records from the topic, use the kafka-console-consumer.sh utility from the SSH connection:

    /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server $KAFKABROKERS --topic test --from-beginning
    

    Met deze opdracht haalt u de records van het onderwerp op en geeft u deze weer.This command retrieves the records from the topic and displays them. Met --from-beginning wordt de consument gevraagd om bij het begin van de stream te beginnen, zodat alle records worden opgehaald.Using --from-beginning tells the consumer to start from the beginning of the stream, so all records are retrieved.

    Vervang --bootstrap-server $KAFKABROKERS door --zookeeper $KAFKAZKHOSTS als u een oudere versie van Kafka gebruikt.If you are using an older version of Kafka, replace --bootstrap-server $KAFKABROKERS with --zookeeper $KAFKAZKHOSTS.

  4. Gebruik Ctrl+C om de consument te stoppen.Use Ctrl + C to stop the consumer.

U kunt ook programmatisch producenten en consumenten maken.You can also programmatically create producers and consumers. Zie het document Producer and Consumer API van Apache Kafka met HDInsight voor een voorbeeld van het gebruik van deze API.For an example of using this API, see the Apache Kafka Producer and Consumer API with HDInsight document.

Resources opschonenClean up resources

Als u de resources die in deze snelstart zijn gemaakt, wilt opschonen, verwijdert u de resourcegroep.To clean up the resources created by this quickstart, you can delete the resource group. Als u de resourcegroep verwijdert, worden ook het bijbehorende HDInsight-cluster en eventuele andere resources die aan de resourcegroep zijn gekoppeld, verwijderd.Deleting the resource group also deletes the associated HDInsight cluster, and any other resources associated with the resource group.

Ga als volgt te werk om de resourcegroep te verwijderen in Azure Portal:To remove the resource group using the Azure portal:

  1. Vouw het menu aan de linkerkant in Azure Portal uit om het menu met services te openen en kies Resourcegroepen om de lijst met resourcegroepen weer te geven.In the Azure portal, expand the menu on the left side to open the menu of services, and then choose Resource Groups to display the list of your resource groups.
  2. Zoek de resourcegroep die u wilt verwijderen en klik met de rechtermuisknop op de knop Meer (... ) aan de rechterkant van de vermelding.Locate the resource group to delete, and then right-click the More button (...) on the right side of the listing.
  3. Selecteer Resourcegroep verwijderen en bevestig dit.Select Delete resource group, and then confirm.

Waarschuwing

De facturering voor het gebruik van HDInsight-clusters begint zodra er een cluster is gemaakt en stopt als een cluster wordt verwijderd.HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. De facturering wordt pro-rato per minuut berekend, dus u moet altijd uw cluster verwijderen wanneer het niet meer wordt gebruikt.Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use.

Door een Apache Kafka in HDInsight-cluster te verwijderen, worden alle gegevens verwijderd die zijn opgeslagen in Kafka.Deleting an Apache Kafka on HDInsight cluster deletes any data stored in Kafka.

Volgende stappenNext steps