Een privé-AKS-cluster (Azure Kubernetes Service) maken

  • Artikel

In een privécluster heeft het besturingsvlak of de API-server interne IP-adressen die zijn gedefinieerd in het RFC1918 - Adrestoewijzing voor privéinternetdocument . Met behulp van een privécluster kunt u ervoor zorgen dat netwerkverkeer tussen uw API-server en uw knooppuntgroepen alleen op het privénetwerk blijft.

Het besturingsvlak of de API-server bevindt zich in een Door Azure Kubernetes Service (AKS) beheerde Azure-resourcegroep. Uw cluster of knooppuntgroep bevindt zich in uw resourcegroep. De server en de cluster- of knooppuntgroep kunnen met elkaar communiceren via de Azure Private Link-service in het virtuele netwerk van de API-server en een privé-eindpunt dat wordt weergegeven op het subnet van uw AKS-cluster.

Wanneer u een privé-AKS-cluster inricht, maakt AKS standaard een privé-FQDN met een privé-DNS-zone en een extra openbare FQDN met een bijbehorende A-record in de openbare Azure DNS. De agentknooppunten blijven de A-record in de privé-DNS-zone gebruiken om het privé-IP-adres van het privé-eindpunt om te zetten voor communicatie met de API-server.

Het doel van dit artikel is om u te helpen bij het implementeren van een op private link gebaseerd AKS-cluster. Als u een AKS-cluster wilt maken zonder dat hiervoor een privékoppeling of tunnel is vereist, raadpleegt u een Azure Kubernetes Service-cluster maken met API Server VNet-integratie (preview).

Regionale beschikbaarheid

Privécluster is beschikbaar in openbare regio's, Azure Government en Microsoft Azure beheerd door 21Vianet-regio's waar AKS wordt ondersteund.

Vereisten

  • Azure CLI versie 2.28.0 en hoger. Voer az --version deze uit om de versie te vinden en voer deze uit az upgrade om de versie te upgraden. Als u Azure CLI 2.0 wilt installeren of upgraden, raadpleegt u Azure CLI 2.0 installeren.
  • De aks-preview extensie 0.5.29 of hoger.
  • Als u Azure Resource Manager (ARM) of de Azure REST API gebruikt, moet de AKS-API-versie 2021-05-01 of hoger zijn.
  • De Azure Private Link-service wordt alleen ondersteund in Standard Azure Load Balancer. Basic Azure Load Balancer wordt niet ondersteund.
  • Als u een aangepaste DNS-server wilt gebruiken, voegt u het openbare IP-adres van Azure 168.63.129.16 toe als de upstream-DNS-server in de aangepaste DNS-server en moet u dit openbare IP-adres toevoegen als de eerste DNS-server. Zie Wat is IP-adres 168.63.129.16 voor meer informatie over het Azure-IP-adres?
    • De DNS-zone van het cluster moet zijn wat u doorstuurt naar 168.63.129.16. Meer informatie over zonenamen vindt u in de dns-zoneconfiguratie van Azure-services.

Notitie

De Azure Linux-knooppuntgroep is nu algemeen beschikbaar (GA). Zie de inleiding tot de Azure Linux-containerhost voor AKS voor meer informatie over de voordelen en implementatiestappen.

Beperkingen

  • Ip-geautoriseerde bereiken kunnen niet worden toegepast op het privé-API-servereindpunt, ze zijn alleen van toepassing op de openbare API-server
  • Azure Private Link-servicebeperkingen zijn van toepassing op privéclusters.
  • Er is geen ondersteuning voor door Microsoft gehoste Azure DevOps-agents met privéclusters. Overweeg om zelf-hostende agents te gebruiken.
  • Als u Wilt dat Azure Container Registry kan werken met een privé-AKS-cluster, stelt u een privékoppeling in voor het containerregister in het virtuele clusternetwerk of stelt u peering in tussen het virtuele netwerk van Container Registry en het virtuele netwerk van het privécluster.
  • Er is geen ondersteuning voor het converteren van bestaande AKS-clusters naar privéclusters.
  • Als u het privé-eindpunt in het subnet van de klant verwijdert of wijzigt, werkt het cluster niet meer.

Een privé-AKS-cluster maken

Een brongroep maken

Maak een resourcegroep met behulp van de az group create opdracht. U kunt ook een bestaande resourcegroep gebruiken voor uw AKS-cluster.

az group create -l eastus -n myResourceGroup

Standaardnetwerken

Maak een privécluster met standaard basisnetwerken met behulp van de az aks create opdracht met de --enable-private-cluster vlag.

az aks create -n <private-cluster-name> -g <private-cluster-resource-group> --load-balancer-sku standard --enable-private-cluster

Geavanceerde netwerken

Maak een privécluster met geavanceerde netwerken met behulp van de az aks create opdracht met de volgende vlaggen:

az aks create \
    --resource-group <private-cluster-resource-group> \
    --name <private-cluster-name> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --network-plugin azure \
    --vnet-subnet-id <subnet-id> \
    --dns-service-ip 10.2.0.10 \
    --service-cidr 10.2.0.0/24

Aangepaste domeinen gebruiken

Zie Aangepaste domeinen gebruiken als u aangepaste domeinen wilt configureren die alleen intern kunnen worden omgezet.

Een openbare FQDN uitschakelen

Een openbare FQDN uitschakelen op een nieuw AKS-cluster

Schakel een openbare FQDN uit bij het maken van een privé-AKS-cluster met behulp van de --disable-public-fqdn vlag.

az aks create -n <private-cluster-name> -g <private-cluster-resource-group> --load-balancer-sku standard --enable-private-cluster --enable-managed-identity --assign-identity <resourceID> --private-dns-zone <private-dns-zone-mode> --disable-public-fqdn

Een openbare FQDN op een bestaand cluster uitschakelen

Schakel een openbare FQDN uit op een bestaand AKS-cluster met behulp van de az aks update opdracht met de --disable-public-fqdn vlag.

az aks update -n <private-cluster-name> -g <private-cluster-resource-group> --disable-public-fqdn

Een privé-DNS-zone configureren

U kunt privé-DNS-zones configureren met behulp van de volgende parameters:

  • systeem: Dit is de standaardwaarde. Als het --private-dns-zone argument wordt weggelaten, maakt AKS een privé-DNS-zone in de knooppuntresourcegroep.
  • geen: De standaardwaarde is openbare DNS. AKS maakt geen privé-DNS-zone.
  • CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID: Hiervoor moet u een privé-DNS-zone maken in de volgende indeling voor de globale Azure-cloud: privatelink.<region>.azmk8s.io of <subzone>.privatelink.<region>.azmk8s.io. U hebt de resource-id van de privé-DNS-zone nodig voor toekomstig gebruik. U hebt ook een door de gebruiker toegewezen identiteit of service-principal nodig met de rollen Privé-DNS Zone-inzender en Netwerkbijdrager. Bij de implementatie met VNet-integratie van API-server ondersteunt een privé-DNS-zone de naamgevingsindeling van private.<region>.azmk8s.io of <subzone>.private.<region>.azmk8s.io.
    • Als de privé-DNS-zone zich in een ander abonnement bevindt dan het AKS-cluster, moet u de Azure-provider Microsoft.ContainerServices registreren in beide abonnementen.
    • "fqdn-subdomain" kan alleen worden gebruikt met "CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID" om subdomeinmogelijkheden te bieden aan privatelink.<region>.azmk8s.io.
    • Als uw AKS-cluster is geconfigureerd met een Active Directory-service-principal, biedt AKS geen ondersteuning voor het gebruik van een door het systeem toegewezen beheerde identiteit met een aangepaste privé-DNS-zone.
    • Als u een <subzone> limiet van 32 tekens opgeeft voor de <subzone> naam.

Notitie

CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID kan worden geconfigureerd met behulp van een ARM-sjabloon naast de Azure CLI. privateDNSZone accepteert de resource-id van de privé-DNZ-zone, zoals wordt weergegeven in het volgende voorbeeld:

properties.apiServerAccessProfile.privateDNSZone.
"apiServerAccessProfile": {
"enablePrivateCluster": true,
"privateDNSZone": "system|none|[resourceId(..., 'Microsoft.Network/privateDnsZones', 'privatelink.<region>.azmk8s.io']"
}

Belangrijk

De CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID kan niet worden gewijzigd nadat het cluster is gemaakt en kan niet worden verwijderd. Anders ondervindt het cluster problemen bij het uitvoeren van upgradebewerkingen.

Een privé-AKS-cluster maken met een privé-DNS-zone

Maak een privé-AKS-cluster met een privé-DNS-zone met behulp van de az aks create opdracht met de volgende vlaggen:

az aks create -n <private-cluster-name> -g <private-cluster-resource-group> --load-balancer-sku standard --enable-private-cluster --enable-managed-identity --assign-identity <resourceID> --private-dns-zone [system|none]

Een privé-AKS-cluster maken met een aangepaste privé-DNS-zone of privé-DNS-subzone

Maak een privé-AKS-cluster met een aangepaste privé-DNS-zone of subzone met behulp van de az aks create opdracht met de volgende vlaggen:

# The custom private DNS zone name should be in the following format: "<subzone>.privatelink.<region>.azmk8s.io"

az aks create -n <private-cluster-name> -g <private-cluster-resource-group> --load-balancer-sku standard --enable-private-cluster --enable-managed-identity --assign-identity <resourceID> --private-dns-zone <custom private dns zone or custom private dns subzone resourceID>

Een privé-AKS-cluster maken met een aangepaste privé-DNS-zone en een aangepast subdomein

Maak een privé-AKS-cluster met een aangepaste privé-DNS-zone en -subdomein met behulp van de az aks create opdracht met de volgende vlaggen:

# The custom private DNS zone name should be in one of the following formats: "privatelink.<region>.azmk8s.io" or "<subzone>.privatelink.<region>.azmk8s.io"

az aks create -n <private-cluster-name> -g <private-cluster-resource-group> --load-balancer-sku standard --enable-private-cluster --enable-managed-identity --assign-identity <resourceID> --private-dns-zone <custom private dns zone resourceID> --fqdn-subdomain <subdomain>

Een privécluster bijwerken van een privé-DNS-zone naar openbaar

Notitie

Voor deze functie is de aks-preview extensieversie >= 0.5.97 vereist

Werk een privécluster bij van byo of system naar none het gebruik van de az aks update opdracht met de volgende vlaggen:

az aks update -n <private-cluster-name> -g <private-cluster-resource-group> --private-dns-zone none

Notitie

U kunt alleen bijwerken van byo of system naar none. Er wordt geen andere combinatie van updatewaarden ondersteund.

Opties voor het maken van verbinding met het privécluster

Het EINDPUNT van de API-server heeft geen openbaar IP-adres. Als u de API-server wilt beheren, moet u een VIRTUELE machine gebruiken die toegang heeft tot het Azure Virtual Network (VNet) van het AKS-cluster. Er zijn verschillende opties voor het tot stand brengen van netwerkconnectiviteit met het privécluster:

Notitie

Het maken van een VIRTUELE machine in hetzelfde VNet als het AKS-cluster is de eenvoudigste optie. ExpressRoute en VPN's voegen kosten toe en vereisen extra netwerkcomplexiteit. Voor peering van virtuele netwerken moet u de CIDR-bereiken van uw netwerk plannen om ervoor te zorgen dat er geen overlappende bereiken zijn.

Peering op virtueel netwerk

Peering van virtuele netwerken is een manier om toegang te krijgen tot uw privécluster. Als u peering van virtuele netwerken wilt gebruiken, moet u een koppeling instellen tussen het virtuele netwerk en de privé-DNS-zone.

  1. Ga in een browser naar Azure Portal.
  2. Ga vanuit Azure Portal naar de resourcegroep van het knooppunt.
  3. Selecteer de privé-DNS-zone.
  4. Selecteer virtueel netwerk in het linkerdeelvenster.
  5. Maak een nieuwe koppeling om het virtuele netwerk van de virtuele machine toe te voegen aan de privé-DNS-zone. Het duurt enkele minuten voordat de DNS-zonekoppeling beschikbaar is.
  6. Navigeer in Azure Portal naar de resourcegroep die het virtuele netwerk van uw cluster bevat.
  7. Selecteer het virtuele netwerk in het rechterdeelvenster. De naam van het virtuele netwerk heeft de vorm aks-vnet-*.
  8. Selecteer Peerings in het linkerdeelvenster.
  9. Selecteer Toevoegen, voeg het virtuele netwerk van de virtuele machine toe en maak vervolgens de peering. Zie Peering voor virtuele netwerken voor meer informatie.

Hub en spoke met aangepaste DNS

Hub- en spoke-architecturen worden vaak gebruikt voor het implementeren van netwerken in Azure. In veel van deze implementaties worden DNS-instellingen in de spoke-VNets geconfigureerd om te verwijzen naar een centrale DNS-doorstuurserver die on-premises en op Azure gebaseerde DNS-omzetting toestaat. Bij het implementeren van een AKS-cluster in een dergelijke netwerkomgeving zijn er enkele speciale overwegingen:

Private cluster hub and spoke

  • Wanneer een privécluster is ingericht, worden standaard een privé-eindpunt (1) en een privé-DNS-zone (2) gemaakt in de door het cluster beheerde resourcegroep. Het cluster maakt gebruik van een A record in de privézone om het IP-adres van het privé-eindpunt voor communicatie met de API-server op te lossen.
  • De privé-DNS-zone is alleen gekoppeld aan het VNet waaraan de clusterknooppunten zijn gekoppeld (3). Dit betekent dat het privé-eindpunt alleen kan worden omgezet door hosts in dat gekoppelde VNet. In scenario's waarin geen aangepaste DNS is geconfigureerd op het VNet (standaard), werkt dit zonder probleem als hostspunt op 168.63.129.16 voor DNS die records in de privé-DNS-zone kunnen omzetten vanwege de koppeling.
  • In scenario's waarin het VNet met uw cluster aangepaste DNS-instellingen (4) heeft, mislukt de clusterimplementatie, tenzij de privé-DNS-zone is gekoppeld aan het VNet dat de aangepaste DNS-resolvers (5) bevat. Deze koppeling kan handmatig worden gemaakt nadat de privézone is gemaakt tijdens het inrichten van het cluster of via automatisering bij het detecteren van het maken van de zone met behulp van op gebeurtenissen gebaseerde implementatiemechanismen (bijvoorbeeld Azure Event Grid en Azure Functions). Om clusterfouten tijdens de eerste implementatie te voorkomen, kan het cluster worden geïmplementeerd met de resource-id van de privé-DNS-zone. Dit werkt alleen met het resourcetype Microsoft.ContainerService/managedCluster en de API-versie 2022-07-01. Het gebruik van een oudere versie met een ARM-sjabloon of Bicep-resourcedefinitie wordt niet ondersteund.

Notitie

Voorwaardelijk doorsturen biedt geen ondersteuning voor subdomeinen.

Notitie

Als u bring your own route table gebruikt met kubenet en bring your own DNS with private clusters, mislukt het maken van het cluster. Nadat het maken van het cluster is mislukt, moet u de RouteTable in de knooppuntresourcegroep koppelen aan het subnet.

Een privé-eindpuntverbinding gebruiken

Een privé-eindpunt kan worden ingesteld zodat een VNet niet hoeft te worden gekoppeld om te communiceren met het privécluster. Als u een privé-eindpunt wilt gebruiken, maakt u een nieuw privé-eindpunt in uw virtuele netwerk en maakt u vervolgens een koppeling tussen uw virtuele netwerk en een nieuwe privé-DNS-zone.

Belangrijk

Als het virtuele netwerk is geconfigureerd met aangepaste DNS-servers, moet privé-DNS op de juiste wijze worden ingesteld voor de omgeving. Zie de documentatie voor naamomzetting van virtuele netwerken voor meer informatie.

Een privé-eindpuntresource maken

Maak een privé-eindpuntresource in uw VNet:

  1. Ga in een browser naar Azure Portal.
  2. Selecteer Een resource maken in het menu van Azure Portal.
  3. Zoek naar privé-eindpunt en selecteer Privé-eindpunt maken>.
  4. Selecteer Maken.
  5. Stel op het tabblad Basisbeginselen de volgende opties in:
    • Projectdetails:
      • Selecteer een Azure-abonnement.
      • Selecteer de Azure-resourcegroep waar uw virtuele netwerk zich bevindt.
    • Instantiedetails:
      • Voer een naam in voor het privé-eindpunt, zoals myPrivateEndpoint.
      • Selecteer een regio voor het privé-eindpunt.

Belangrijk

Controleer of de geselecteerde regio hetzelfde is als het virtuele netwerk waaruit u verbinding wilt maken, anders ziet u het virtuele netwerk niet op het tabblad Configuratie .

  1. Selecteer Volgende: Resource en stel de volgende opties in:
    • Verbinding maken ionmethode: Selecteer Verbinding maken naar een Azure-resource in mijn directory.
    • Abonnement: Selecteer het abonnement waarin uw privécluster zich bevindt.
    • Resourcetype: Selecteer Microsoft.ContainerService/managedClusters.
    • Resource: Selecteer uw privécluster.
    • Doelsubresource: Beheer selecteren.
  2. Selecteer Volgende: Virtueel netwerk en stel de volgende opties in:
    • Netwerken:
      • Virtueel netwerk: selecteer uw virtuele netwerk.
      • Subnet: Selecteer uw subnet.
  3. Selecteer Volgende: DNS>Next: Tags en (optioneel) stel indien nodig sleutelwaarden in.
  4. Selecteer Volgende: Beoordelen en maken>.

Zodra de resource is gemaakt, registreert u het privé-IP-adres van het privé-eindpunt voor toekomstig gebruik.

Een privé-DNS-zone maken

Zodra het privé-eindpunt is gemaakt, maakt u een nieuwe privé-DNS-zone met dezelfde naam als de privé-DNS-zone die is gemaakt door het privécluster:

  1. Ga naar de knooppuntresourcegroep in Azure Portal.
  2. Selecteer de privé-DNS-zone en -record:
    • De naam van de privé-DNS-zone, die het patroon *.privatelink.<region>.azmk8s.iovolgt.
    • De naam van de A record (met uitzondering van de privé-DNS-naam).
    • De time-to-live (TTL).
  3. Selecteer een resource maken in de Azure-portal.
  4. Zoek Privé-DNS zone en selecteer Privé-DNS zone maken>.
  5. Stel op het tabblad Basisbeginselen de volgende opties in:
    • Projectdetails:
      • Selecteer Abonnement.
      • Selecteer de resourcegroep waarin u het privé-eindpunt hebt gemaakt.
    • Instantiedetails:
      • Voer de naam in van de DNS-zone die is opgehaald uit de vorige stappen.
      • Regio is standaard ingesteld op de locatie van uw resourcegroep.
  6. Selecteer Beoordelen en maken>Maken.

A Een record maken

Zodra de privé-DNS-zone is gemaakt, maakt u een A record die het privé-eindpunt koppelt aan het privécluster:

  1. Ga naar de privé-DNS-zone die u in de vorige stappen hebt gemaakt.
  2. Selecteer recordset op de pagina Overzicht.
  3. Stel op het tabblad Recordset toevoegen de volgende opties in:
    • Naam: Voer de naam in die is opgehaald uit de A record in de DNS-zone van het privécluster.
    • Type: Selecteer A - Adresrecord.
    • TTL: Voer het nummer uit de A record in de DNS-zone van het privécluster in.
    • TTL-eenheid: Wijzig de vervolgkeuzelijst zodat deze overeenkomt met de waarde in de record uit de A DNS-zone van het privécluster.
    • IP-adres: voer het IP-adres in van het privé-eindpunt dat u hebt gemaakt.

Belangrijk

Gebruik bij het maken van de A record alleen de naam en niet de FQDN (Fully Qualified Domain Name).

Zodra de A record is gemaakt, koppelt u de privé-DNS-zone aan het virtuele netwerk dat toegang heeft tot het privécluster:

  1. Ga naar de privé-DNS-zone die u in de vorige stappen hebt gemaakt.
  2. Selecteer in het linkerdeelvenster koppelingen naar virtueel netwerk.
  3. Selecteer Toevoegen en stel de volgende opties in:
    • Koppelingsnaam: Voer een naam in voor uw virtuele netwerkkoppeling.
    • Abonnement: Selecteer het abonnement waarin uw privécluster zich bevindt.
    • Virtueel netwerk: selecteer het virtuele netwerk van uw privécluster.
  4. Selecteer OK om de koppeling te maken.

Het kan enkele minuten duren voordat de bewerking is voltooid. Zodra de koppeling voor het virtuele netwerk is gemaakt, kunt u deze openen via het tabblad Koppelingen van het virtuele netwerk dat u in stap 2 hebt gebruikt.

Waarschuwing

Als het privécluster is gestopt en opnieuw wordt gestart, wordt de oorspronkelijke private link-service van het privécluster verwijderd en opnieuw gemaakt, waardoor de verbinding tussen uw privé-eindpunt en het privécluster wordt verbroken. U kunt dit probleem oplossen door alle door de gebruiker gemaakte privé-eindpunten te verwijderen en opnieuw te maken die zijn gekoppeld aan het privécluster. Als de opnieuw gemaakte privé-eindpunten nieuwe IP-adressen hebben, moet u ook DNS-records bijwerken.

Volgende stappen

Zie Best practices voor netwerkconnectiviteit en -beveiliging in AKS voor de bijbehorende aanbevolen procedures.