Konfigurera Azure CNI nätverk i Azure Kubernetes Service (AKS)

Som standard använder AKS-kluster kubenet, och ett virtuellt nätverk och undernät skapas åt dig. Med kubenet hämtar noder en IP-adress från ett virtuellt nätverksundernät. NAT (Network Address Translation) konfigureras sedan på noderna och poddar får en IP-adress som är "dold" bakom nodens IP-adress. Den här metoden minskar antalet IP-adresser som du behöver reservera i ditt nätverksutrymme för poddar att använda.

Med Azure Container Networking Interface (CNI)får varje podd en IP-adress från undernätet och kan nås direkt. Dessa IP-adresser måste vara unika i nätverksutrymmet och måste planeras i förväg. Varje nod har en konfigurationsparameter för det maximala antalet poddar som stöds. Motsvarande antal IP-adresser per nod reserveras sedan direkt för den noden. Den här metoden kräver mer planering och leder ofta till att IP-adresserna tar slut eller att kluster måste återskapas i ett större undernät när dina programbehov ökar.

Den här artikeln visar hur du använder Azure CNI för att skapa och använda ett undernät för ett virtuellt nätverk för ett AKS-kluster. Mer information om nätverksalternativ och nätverksöverväganden finns i Nätverksbegrepp för Kubernetes och AKS.

Förutsättningar

• Det virtuella nätverket för AKS-klustret måste tillåta utgående Internetanslutning.
• AKS-kluster får inte använda , , eller för 169.254.0.0/16 172.30.0.0/16 172.31.0.0/16 Kubernetes-tjänstens adressintervall, poddadressintervall eller adressintervall för 192.0.2.0/24 virtuellt klusternätverk.
• Klusteridentiteten som används av AKS-klustret måste minst ha behörighet som nätverksdeltagare på undernätet i det virtuella nätverket. Om du vill definiera en anpassad roll i stället för att använda den inbyggda rollen Nätverksdeltagare krävs följande behörigheter:
  • Microsoft.Network/virtualNetworks/subnets/join/action
  • Microsoft.Network/virtualNetworks/subnets/read
• Undernätet som tilldelats till AKS-nodpoolen kan inte vara ett delegerat undernät.
• AKS tillämpar inte nätverkssäkerhetsgrupper (NSG:er) på undernätet och ändrar inte någon av de NSG:er som är associerade med det undernätet. Om du anger ett eget undernät och lägger till NSG:er som är associerade med det undernätet måste du se till att säkerhetsreglerna i NSG:erna tillåter trafik mellan noden och podd-CIDR-intervallen. Mer information finns i Nätverkssäkerhetsgrupper.

Planera IP-adressering för klustret

Kluster som konfigurerats med Azure CNI nätverk kräver ytterligare planering. Storleken på ditt virtuella nätverk och dess undernät måste hantera det antal poddar som du planerar att köra och antalet noder för klustret.

IP-adresser för poddarna och klustrets noder tilldelas från det angivna undernätet i det virtuella nätverket. Varje nod konfigureras med en primär IP-adress. Som standard förkonfigureras 30 ytterligare IP-adresser av Azure CNI som tilldelas till poddar som schemalagts på noden. När du skalar ut klustret konfigureras varje nod på samma sätt med IP-adresser från undernätet. Du kan också visa maximalt antal poddar per nod.

Om du förväntar dig att noderna kör det maximala antalet poddar och regelbundet förstör och distribuerar poddar bör du även ta med ytterligare IP-adresser per nod i faktorer. Dessa ytterligare IP-adresser tar hänsyn till det kan ta några sekunder innan en tjänst tas bort och IP-adressen som släpps för att en ny tjänst ska distribueras och hämta adressen.

IP-adressplanen för ett AKS-kluster består av ett virtuellt nätverk, minst ett undernät för noder och poddar samt ett Kubernetes-tjänstadressintervall.

Maximalt antal poddar per nod

Det maximala antalet poddar per nod i ett AKS-kluster är 250. Det maximala standardantalet poddar per nod varierar mellan kubenet Azure CNI nätverk och metoden för klusterdistribution.

Konfigurera maximalt – nya kluster

Du kan konfigurera det maximala antalet poddar per nod vid klusterdistributionen eller när du lägger till nya nodpooler. Om du distribuerar med Azure CLI eller med en Resource Manager mall kan du ange det högsta antalet poddar per nodvärde så högt som 250.

Om du inte anger maxPods när du skapar nya nodpooler får du standardvärdet 30 för Azure CNI.

Ett minsta värde för maximalt antal poddar per nod framtvingas för att garantera utrymme för systempoddar som är kritiska för klustrets hälsa. Det minsta värde som kan anges för maximalt antal poddar per nod är 10 om och endast om konfigurationen för varje nodpool har utrymme för minst 30 poddar. Om du till exempel ställer in det högsta antalet poddar per nod till minst 10 måste varje enskild nodpool ha minst 3 noder. Det här kravet gäller även för varje ny nodpool som skapas, så om 10 definieras som maximalt antal poddar per nod måste varje efterföljande nodpool som läggs till ha minst 3 noder.

• Azure CLI: Ange --max-pods argumentet när du distribuerar ett kluster med kommandot az aks create. Det maximala värdet är 250.
• Resource Manager: Ange egenskapen i maxPods [objektet ManagedClusterAgentPoolProfile] när du distribuerar ett kluster med en Resource Manager mall. Det maximala värdet är 250.
• Azure Portal: Du kan inte ändra det maximala antalet poddar per nod när du distribuerar ett kluster med Azure Portal. Azure CNI nätverkskluster är begränsade till 110 poddar per nod när du distribuerar med hjälp av Azure Portal.

Konfigurera maximalt – befintliga kluster

Inställningen maxPod per nod kan definieras när du skapar en ny nodpool. Om du behöver öka inställningen maxPod per nod i ett befintligt kluster lägger du till en ny nodpool med det nya önskade maxPod-antalet. När du har migrerat dina poddar till den nya poolen tar du bort den äldre poolen. Om du vill ta bort en äldre pool i ett kluster måste du kontrollera att du anger nodpoollägen enligt definitionen i dokumentet systemnodpooler.

Distributionsparametrar

När du skapar ett AKS-kluster kan följande parametrar konfigureras för Azure CNI nätverk:

Virtuellt nätverk: Det virtuella nätverk som du vill distribuera Kubernetes-klustret till. Om du vill skapa ett nytt virtuellt nätverk för klustret väljer du Skapa nytt och följer stegen i avsnittet Skapa virtuellt nätverk. Information om gränser och kvoter för ett virtuellt Azure-nätverk finns i Azure-prenumeration och tjänstbegränsningar, kvoter och begränsningar.

Undernät: Undernätet i det virtuella nätverk där du vill distribuera klustret. Om du vill skapa ett nytt undernät i det virtuella nätverket för klustret väljer du Skapa nytt och följer stegen i avsnittet Skapa undernät. För hybridanslutningar får adressintervallet inte överlappa med andra virtuella nätverk i din miljö.

Plugin-program för Azure-nätverk: När plugin-programmet för Azure-nätverk används kan inte den interna LoadBalancer-tjänsten med "externalTrafficPolicy=Local" nås från virtuella datorer med en IP-adress i clusterCIDR som inte tillhör AKS-klustret.

Kubernetes-tjänstens adressintervall: Den här parametern är den uppsättning virtuella IP-adresser som Kubernetes tilldelar till interna tjänster i klustret. Du kan använda alla privata adressintervall som uppfyller följande krav:

• Får inte vara inom det virtuella nätverkets IP-adressintervall för klustret
• Får inte överlappa med andra virtuella nätverk som klustrets virtuella nätverk är peer-datorer med
• Får inte överlappa med några lokala IP-adresser
• Får inte vara inom 169.254.0.0/16 intervallen 172.30.0.0/16 , , 172.31.0.0/16 eller 192.0.2.0/24

Även om det är tekniskt möjligt att ange ett adressintervall för tjänsten inom samma virtuella nätverk som klustret, rekommenderas det inte. Oförutsägbart beteende kan uppstå om överlappande IP-intervall används. Mer information finns i avsnittet vanliga frågor och svar i den här artikeln. Mer information om Kubernetes-tjänster finns i Tjänster i Kubernetes-dokumentationen.

Kubernetes DNS-tjänstens IP-adress: IP-adressen för klustrets DNS-tjänst. Den här adressen måste ligga inom Kubernetes Service-adressintervallet. Använd inte den första IP-adressen i adressintervallet. Den första adressen i undernätsintervallet används för adressen kubernetes.default.svc.cluster.local.

Docker-bryggadress: Docker-bryggnätverksadressen representerar standardadressen för docker0-bryggnätverk som finns i alla Docker-installationer. Även om docker0-bryggan inte används av AKS-kluster eller själva poddarna, måste du ange den här adressen för att fortsätta att stödja scenarier som docker build i AKS-klustret. Du måste välja en CIDR för Docker-bryggnätverksadressen eftersom Annars väljer Docker automatiskt ett undernät som kan vara i konflikt med andra CIDR. Du måste välja ett adressutrymme som inte krockar med resten av CIDR:erna i dina nätverk, inklusive klustrets tjänst-CIDR och podd-CIDR.

Konfigurera nätverk – CLI

När du skapar ett AKS-kluster med Azure CLI kan du även konfigurera Azure CNI nätverk. Använd följande kommandon för att skapa ett nytt AKS-kluster med Azure CNI nätverk aktiverat.

Hämta först undernätets resurs-ID för det befintliga undernät som AKS-klustret ska vara ansluten till:

$ az network vnet subnet list \
    --resource-group myVnet \
    --vnet-name myVnet \
    --query "[0].id" --output tsv

/subscriptions/<guid>/resourceGroups/myVnet/providers/Microsoft.Network/virtualNetworks/myVnet/subnets/default

Använd kommandot az aks create med argumentet --network-plugin azure för att skapa ett kluster med avancerade nätverk. Uppdatera värdet --vnet-subnet-id med det undernäts-ID som samlades in i föregående steg:

az aks create \
    --resource-group myResourceGroup \
    --name myAKSCluster \
    --network-plugin azure \
    --vnet-subnet-id <subnet-id> \
    --docker-bridge-address 172.17.0.1/16 \
    --dns-service-ip 10.2.0.10 \
    --service-cidr 10.2.0.0/24 \
    --generate-ssh-keys

Konfigurera nätverk – portalen

Följande skärmbild från Azure Portal visar ett exempel på hur du konfigurerar de här inställningarna när AKS-klustret skapas:

! [Avancerad nätverkskonfiguration i Azure Portal] [portal-01-networking-advanced]

Dynamisk allokering av IP-adresser och förbättrat stöd för undernät (förhandsversion)

En nackdel med traditionella CNI är att podd-IP-adresserna tar slut när AKS-klustret växer, vilket gör att hela klustret måste återskapas i ett större undernät. Den nya funktionen för dynamisk IP-allokering i Azure CNI löser det här problemet genom att tilldela podd-IP-adresser från ett undernät som är separat från det undernät som är värd för AKS-klustret. Det ger följande fördelar:

• Bättre IP-användning: IP-adresser allokeras dynamiskt till klusterpoddar från poddundernätet. Detta leder till bättre användning av IP-adresser i klustret jämfört med den traditionella CNI-lösningen, som gör statisk allokering av IP-adresser för varje nod.

• Skalbar och flexibel: Nod- och poddundernät kan skalas oberoende av varandra. Ett enda poddundernät kan delas mellan flera nodpooler i ett kluster eller över flera AKS-kluster som distribueras i samma virtuella nätverk. Du kan också konfigurera ett separat poddundernät för en nodpool.

• Höga prestanda: Eftersom podden tilldelas VNet-IP-adresser har de direkt anslutning till andra klusterpoddar och resurser i det virtuella nätverket. Lösningen stöder mycket stora kluster utan prestandaförsämring.

• Separata VNet-principer för poddar: Eftersom poddar har ett separat undernät kan du konfigurera separata VNet-principer för dem som skiljer sig från nodprinciper. Detta möjliggör många användbara scenarier, till exempel att endast tillåta Internetanslutning för poddar och inte för noder, åtgärda käll-IP för podd i en nodpool med hjälp av ett VNet-nätverks-NAT och använda NSG:er för att filtrera trafik mellan nodpooler.

• Kubernetes-nätverksprinciper: Både Azure-nätverksprinciperna ochNdeco fungerar med den här nya lösningen.

Ytterligare krav

Kraven som redan anges för Azure CNI gäller fortfarande, men det finns några ytterligare begränsningar:

• Endast Linux-nodkluster och nodpooler stöds.
• AKS Engine- och GÖR-kluster stöds inte.

Installera aks-preview Azure CLI

Du behöver Azure CLI-tillägget aks-preview. Installera Azure CLI-tillägget aks-preview med hjälp av kommandot az extension add. Eller installera eventuella tillgängliga uppdateringar med hjälp av kommandot az extension update.

# Install the aks-preview extension
az extension add --name aks-preview

# Update the extension to make sure you have the latest version installed
az extension update --name aks-preview

Registrera PodSubnetPreview förhandsgranskningsfunktionen

Om du vill använda funktionen måste du också aktivera PodSubnetPreview funktionsflaggan för din prenumeration.

Registrera PodSubnetPreview funktionsflaggan med kommandot az feature register, som du ser i följande exempel:

az feature register --namespace "Microsoft.ContainerService" --name "PodSubnetPreview"

Det tar några minuter för statusen att visa Registrerad. Kontrollera registreringsstatusen med hjälp av kommandot az feature list:

az feature list -o table --query "[?contains(name, 'Microsoft.ContainerService/PodSubnetPreview')].{Name:name,State:properties.state}"

När du är klar uppdaterar du registreringen av resursprovidern Microsoft.ContainerService med kommandot az provider register:

az provider register --namespace Microsoft.ContainerService

Planera IP-adressering

När du använder den här funktionen är planeringen mycket enklare. Eftersom noderna och poddarna skalas oberoende av varandra kan deras adressutrymmen också planeras separat. Eftersom poddundernät kan konfigureras till kornigheten för en nodpool kan kunder alltid lägga till ett nytt undernät när de lägger till en nodpool. Systempoddarna i en kluster-/nodpool tar även emot IP-adresser från poddundernätet, så det här beteendet måste redovisas.

Planeringen av IP-adresser för Kubernetes-tjänster och Docker-bryggan förblir oförändrad.

Maximalt antal poddar per nod i ett kluster med dynamisk allokering av IP-adresser och förbättrat stöd för undernät

Poddvärdena per nod när du använder Azure CNI med dynamisk allokering av IP-adresser har ändrats något från det traditionella CNI-beteendet:

Alla andra riktlinjer som rör konfiguration av maximalt antal noder per podd förblir desamma.

Ytterligare distributionsparametrar

Distributionsparametrarna som beskrivs ovan är fortfarande giltiga, med ett undantag:

• Undernätsparametern refererar nu till det undernät som är relaterat till klustrets noder.
• Ytterligare ett parameter-poddundernät används för att ange det undernät vars IP-adresser ska allokeras dynamiskt till poddar.

Konfigurera nätverk – CLI med dynamisk allokering av IP-adresser och förbättrat stöd för undernät

Användningen av dynamisk allokering av IP-adresser och förbättrat stöd för undernät i klustret liknar standardmetoden för att konfigurera Azure CNI. I följande exempel går vi igenom hur du skapar ett nytt virtuellt nätverk med ett undernät för noder och ett undernät för poddar och skapar ett kluster som använder Azure CNI med dynamisk allokering av IP-adresser och förbättrat stöd för undernät. Se till att ersätta variabler som med $subscription dina egna värden:

Skapa först det virtuella nätverket med två undernät:

resourceGroup="myResourceGroup"
vnet="myVirtualNetwork"
location="westcentralus"

# Create the resource group
az group create --name $resourceGroup --location $location

# Create our two subnet network 
az network vnet create -g $resourceGroup --location $location --name $vnet --address-prefixes 10.0.0.0/8 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name nodesubnet --address-prefixes 10.240.0.0/16 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name podsubnet --address-prefixes 10.241.0.0/16 -o none 

Skapa sedan klustret och referera till nodundernätet med hjälp av --vnet-subnet-id och poddundernätet med hjälp av --pod-subnet-id :

clusterName="myAKSCluster"
subscription="aaaaaaa-aaaaa-aaaaaa-aaaa"

az aks create -n $clusterName -g $resourceGroup -l $location \
  --max-pods 250 \
  --node-count 2 \
  --network-plugin azure \
  --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/nodesubnet \
  --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/podsubnet  

Lägga till nodpool

När du lägger till nodpoolen refererar du till nodundernätet --vnet-subnet-id med och poddundernätet med --pod-subnet-id . I följande exempel skapas två nya undernät som sedan refereras till när en ny nodpool skapas:

az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name node2subnet --address-prefixes 10.242.0.0/16 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name pod2subnet --address-prefixes 10.243.0.0/16 -o none 

az aks nodepool add --cluster-name $clusterName -g $resourceGroup  -n newnodepool \
  --max-pods 250 \
  --node-count 2 \
  --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/node2subnet \
  --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/pod2subnet \
  --no-wait 

Vanliga frågor och svar

Följande frågor och svar gäller för Azure CNI nätverkskonfigurationen.

• Kan jag distribuera virtuella datorer i mitt klusterundernät?

  Ja.

• Vilken käll-IP ser externa system för trafik som kommer från en Azure CNI-aktiverad podd?

  System i samma virtuella nätverk som AKS-klustret ser podd-IP-adressen som källadress för all trafik från podden. System utanför det virtuella AKS-klustrets nätverk ser nod-IP-adressen som källadress för all trafik från podden.

• Kan jag konfigurera nätverksprinciper per podd?

  Ja, Kubernetes-nätverksprincipen är tillgänglig i AKS. Information om hur du kommer igång finns i Skydda trafik mellan poddar med hjälp av nätverksprinciper i AKS.

• Går det att konfigurera det maximala antalet poddar till en nod?

  Ja, när du distribuerar ett kluster med Azure CLI eller en Resource Manager mall. Se Maximalt antal poddar per nod.

  Du kan inte ändra det maximala antalet poddar per nod i ett befintligt kluster.

• Hur gör jag för att konfigurera ytterligare egenskaper för undernätet som jag skapade när AKS-klustret skapades? Till exempel tjänstslutpunkter.

  Den fullständiga listan över egenskaper för det virtuella nätverket och undernäten som du skapar när AKS-klustret skapas kan konfigureras på standardsidan för konfiguration av virtuella nätverk i Azure Portal.

• Kan jag använda ett annat undernät i mitt virtuella klusternätverk för Kubernetes-tjänstens adressintervall?

  Det rekommenderas inte, men den här konfigurationen är möjlig. Tjänstadressintervallet är en uppsättning virtuella IP-adresser (VIP) som Kubernetes tilldelar till interna tjänster i klustret. Azure-nätverkstjänster har ingen insyn i Kubernetes-klustrets tjänst-IP-intervall. På grund av bristen på insyn i klustrets tjänstadressintervall är det möjligt att senare skapa ett nytt undernät i klustrets virtuella nätverk som överlappar med tjänstens adressintervall. Om en sådan överlappning inträffar kan Kubernetes tilldela en tjänst en IP-adress som redan används av en annan resurs i undernätet, vilket orsakar oförutsägbart beteende eller fel. Genom att se till att du använder ett adressintervall utanför klustrets virtuella nätverk kan du undvika den här överlappande risken.

Vanliga frågor och svar om dynamiskt allokering av IP-adresser och förbättrat undernätsstöd

Följande frågor och svar gäller för nätverkskonfigurationen Azure CNI när du använder dynamisk allokering av IP-adresser och förbättrat stöd för undernät.

• Kan jag tilldela flera poddundernät till ett kluster/en nodpool?

  Endast ett undernät kan tilldelas till ett kluster eller en nodpool. Flera kluster eller nodpooler kan dock dela ett enda undernät.

• Kan jag tilldela poddundernät från ett annat VNet helt och hållet?

  Poddundernätet ska komma från samma virtuella nätverk som klustret.

• Kan vissa nodpooler i ett kluster använda traditionella CNI medan andra använder den nya CNI?

  Hela klustret bör endast använda en typ av CNI.

AKS-motor

Azure Kubernetes Service Engine (AKS Engine) är ett projekt med öppen källkod som genererar Azure Resource Manager-mallar som du kan använda för att distribuera Kubernetes-kluster i Azure.

Kubernetes-kluster som skapats med AKS Engine stöder både kubenet- och Azure CNI-plugin-program. Därför stöds båda nätverksscenarierna av AKS-motorn.

Nästa steg

Läs mer om nätverk i AKS i följande artiklar:

• Använda en statisk IP-adress med Azure Kubernetes Service (AKS) lastbalanserare

• Använda en intern lastbalanserare med Azure Container Service (AKS)

• Skapa en grundläggande ingress-kontrollant med extern nätverksanslutning

• Aktivera tillägget för HTTP-programroutning

• Skapa en ingress-kontrollant som använder ett internt, privat nätverk och en IP-adress

• Skapa en ingresskontrollant med en dynamisk offentlig IP-adress och konfigurera Let's Encrypt för att automatiskt generera TLS-certifikat

• Skapa en ingress-kontrollant med en statisk offentlig IP-adress och konfigurera Let's Encrypt för att automatiskt generera TLS-certifikat

[advanced-networking-diagram-01]: ./media/networking-overview/advanced-networking-diagram-01.png [portal-01-networking-advanced]: ./media/networking-overview/portal-01-networking-advanced.png