Een Apache Flink-cluster® maken in HDInsight op AKS met Azure Portal

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

Voer de volgende stappen uit om een Apache Flink-cluster te maken in Azure Portal.

Vereisten

Voltooi de vereisten in de volgende secties:

• Abonnementsvereisten
• Resourcevereisten
• Een clustergroep maken

Belangrijk

• Als u een cluster in een nieuwe clustergroep wilt maken, wijst u de rol AKS-agentpool MSI Managed Identity Operator toe voor de door de gebruiker toegewezen beheerde identiteit die is gemaakt als onderdeel van de resourcevereisten. Als u over de vereiste machtigingen beschikt, wordt deze stap geautomatiseerd tijdens het maken.
• De beheerde identiteit van AKS-agentpool wordt gemaakt tijdens het maken van een clustergroep. U kunt de beheerde identiteit van de AKS-agentpool identificeren door (uw clusterpoolnaam)-agentpool. Volg deze stappen om de rol toe te wijzen.

Een Apache Flink-cluster maken

Flink-clusters kunnen worden gemaakt zodra de implementatie van de clustergroep is voltooid, laten we de stappen doorlopen voor het geval u aan de slag gaat met een bestaande clustergroep

1. Typ in Azure Portal HDInsight-clustergroepen/HDInsight/HDInsight in AKS en selecteer Azure HDInsight in AKS-clustergroepen om naar de pagina clustergroepen te gaan. Selecteer op de pagina HDInsight op AKS-clustergroepen de clustergroep waarin u een nieuw Flink-cluster wilt maken.

   

2. Klik op de pagina specifieke clustergroep op + Nieuw cluster en geef de volgende informatie op:

   Eigenschappen	Beschrijving
   Abonnement	Dit veld wordt automatisch ingevuld met het Azure-abonnement dat is geregistreerd voor de clustergroep.
   Resourcegroep	Dit veld wordt automatisch ingevuld en toont de resourcegroep in de clustergroep.
   Regio	Dit veld wordt automatisch ingevuld en toont de regio die is geselecteerd in de clustergroep.
   Clustergroep	Dit veld wordt automatisch ingevuld en toont de naam van de clustergroep waarop het cluster nu wordt gemaakt. Als u een cluster in een andere pool wilt maken, zoekt u die clustergroep in de portal en klikt u op + Nieuw cluster.
   HDInsight in AKS-poolversie	Dit veld wordt automatisch ingevuld en toont de versie van de clustergroep waarop het cluster nu wordt gemaakt.
   HDInsight op AKS-versie	Selecteer de secundaire of patchversie van HDInsight in AKS van het nieuwe cluster.
   Clustertype	Selecteer Flink in de vervolgkeuzelijst.
   Clusternaam	Voer de naam van het nieuwe cluster in.
   Door de gebruiker toegewezen beheerde identiteit	Selecteer in de vervolgkeuzelijst de beheerde identiteit die u wilt gebruiken met het cluster. Als u de eigenaar van de Managed Service Identity (MSI) bent en de MSI de rol Managed Identity Operator niet heeft op het cluster, klikt u op de koppeling onder het vak om de benodigde machtiging toe te wijzen vanuit de MSI van de AKS-agentgroep. Als de MSI al over de juiste machtigingen beschikt, wordt er geen koppeling weergegeven. Zie de vereisten voor andere roltoewijzingen die vereist zijn voor de MSI.
   Opslagaccount	Selecteer in de vervolgkeuzelijst het opslagaccount dat u wilt koppelen aan het Flink-cluster en geef de containernaam op. De beheerde identiteit wordt verder toegang verleend tot het opgegeven opslagaccount, met behulp van de rol 'Eigenaar van opslagblobgegevens' tijdens het maken van het cluster.
   Virtueel netwerk	Het virtuele netwerk voor het cluster.
   Subnet	Het virtuele subnet voor het cluster.

3. Hive-catalogus inschakelen voor Flink SQL.

   Eigenschappen	Beschrijving
   Hive-catalogus gebruiken	Schakel deze optie in om een externe Hive-metastore te gebruiken.
   SQL Database voor Hive	Selecteer in de vervolgkeuzelijst de SQL Database waarin u hive-metastore-tabellen wilt toevoegen.
   SQL-gebruikersnaam van beheerder	Voer de gebruikersnaam van de SQL-serverbeheerder in. Dit account wordt door metastore gebruikt om te communiceren met sql-database.
   Sleutelkluis	Selecteer in de vervolgkeuzelijst de Sleutelkluis, die een geheim met wachtwoord bevat voor de gebruikersnaam van de SQL Server-beheerder. U moet een toegangsbeleid instellen met alle vereiste machtigingen, zoals sleutelmachtigingen, geheime machtigingen en certificaatmachtigingen voor de MSI, die wordt gebruikt voor het maken van het cluster. De MSI heeft een Key Vault-Beheer istrator-rol nodig. Voeg de vereiste machtigingen toe met behulp van IAM.
   Sql-wachtwoordgeheimnaam	Voer de geheime naam in uit de Sleutelkluis waarin het wachtwoord van de SQL-database is opgeslagen.

   

   Notitie

   Standaard gebruiken we het opslagaccount voor hive-catalogus hetzelfde als het opslagaccount en de container die tijdens het maken van het cluster wordt gebruikt.

4. Selecteer Volgende: Configuratie om door te gaan.

5. Geef op de pagina Configuratie de volgende informatie op:

   Eigenschappen	Beschrijving
   Knooppuntgrootte	Selecteer de knooppuntgrootte die moet worden gebruikt voor de Flink-knooppunten, zowel hoofd- als werkknooppunten.
   Aantal knooppunten	Selecteer het aantal knooppunten voor Flink-cluster; standaard zijn er twee hoofdknooppunten. De grootte van werkknooppunten helpt bij het bepalen van de configuraties van taakbeheer voor de Flink. De jobbeheer- en geschiedenisserver bevinden zich op hoofdknooppunten.

6. Geef in de sectie Serviceconfiguratie de volgende informatie op:

   Eigenschappen	Beschrijving
   CPU van taakbeheer	Geheel getal. Voer de grootte in van de CPU's van Taakbeheer (in kernen).
   Geheugen van taakbeheer in MB	Voer de geheugengrootte van Taakbeheer in MB in. Min. van 1800 MB.
   CPU van jobmanager	Geheel getal. Voer het aantal CPU's in voor de jobmanager (in kernen).
   Geheugen van jobmanager in MB	Voer de geheugengrootte in MB in. Minimaal 1800 MB.
   CPU van geschiedenisserver	Geheel getal. Voer het aantal CPU's in voor de jobmanager (in kernen).
   Geheugen van geschiedenisserver in MB	Voer de geheugengrootte in MB in. Minimaal 1800 MB.

   

   Notitie

   • Geschiedenisserver kan naar behoefte worden ingeschakeld/uitgeschakeld.
   • Automatische schaalaanpassing op basis van schema's wordt ondersteund in Flink. U kunt het aantal werkknooppunten zo nodig plannen. Het is bijvoorbeeld ingeschakeld voor automatisch schalen op basis van een planning met het standaardaantal werkknooppunten als 3. En tijdens weekdagen van 9:00 UTC tot 20:00 UTC zijn de werkknooppunten gepland op 10. Later op de dag moet deze standaard worden ingesteld op 3 knooppunten (tussen 20:00 UTC en volgende dag 09:00 UTC). Tijdens het weekend van 9:00 UTC tot 20:00 UTC zijn werkknooppunten 4.

7. Werk in de sectie Automatisch schalen en SSH het volgende bij:

   Eigenschappen	Beschrijving
   Automatisch schalen	Bij de selectie kunt u de op planning gebaseerde automatische schaalaanpassing kiezen om de planning voor schaalbewerkingen te configureren.
   SSH inschakelen	Bij selectie kunt u kiezen voor het totale aantal vereiste SSH-knooppunten. Dit zijn de toegangspunten voor de Flink CLI met behulp van Secure Shell. Het toegestane maximum aantal SSH-knooppunten is 5.

   

   

8. Klik op de knop Volgende: Integratie om door te gaan naar de volgende pagina.

9. Geef op de pagina Integratie de volgende informatie op:

   Eigenschappen	Beschrijving
   Logboekanalyses	Deze functie is alleen beschikbaar als de clustergroep gekoppelde Log Analytics-werkruimte heeft, zodra de logboeken zijn ingeschakeld die moeten worden verzameld, kunnen worden geselecteerd.
   Azure Prometheus	Met deze functie kunt u inzichten en logboeken rechtstreeks in uw cluster weergeven door metrische gegevens en logboeken naar de Azure Monitor-werkruimte te verzenden.

   

10. Klik op de knop Volgende: Tags om door te gaan naar de volgende pagina.

11. Geef op de pagina Tags de volgende informatie op:

    Eigenschappen	Beschrijving
    Naam	Optioneel. Voer een naam in zoals HDInsight in AKS om eenvoudig alle resources te identificeren die zijn gekoppeld aan uw clusterbronnen.
    Weergegeven als	U kunt dit leeg laten.
    Bron	Selecteer Alle resources geselecteerd.

12. Selecteer Volgende: Beoordelen en maken om door te gaan.

13. Zoek op de pagina Controleren en maken naar het bericht Validatie voltooid boven aan de pagina en klik vervolgens op Maken.

De pagina Implementatie wordt weergegeven waarop het cluster wordt gemaakt. Het duurt 5-10 minuten om het cluster te maken. Zodra het cluster is gemaakt, wordt het bericht 'Uw implementatie is voltooid' weergegeven. Als u van de pagina weg navigeert, kunt u uw meldingen controleren op de huidige status.

Notitie

Apache, Apache Flink, Flink en bijbehorende opensource-projectnamen zijn handelsmerken van de Apache Software Foundation (ASF).