Konfigurace sítě Azure CNI ve službě Azure Kubernetes Service (AKS)

Ve výchozím nastavení používají clustery AKS kubeneta pro vás vytvoří virtuální síť a podsíť. Pomocí kubenet uzly získají IP adresu z podsítě virtuální sítě. V uzlech se pak nakonfiguruje překlad síťových adres (NAT) a lusky obdrží IP adresu "skrytá" za IP adresou uzlu. Tento přístup snižuje počet IP adres, které je třeba vyhradit v síťovém prostoru pro použití v luskech.

Díky rozhraní CNI (Azure Container Networking Interface)každý z nich získá IP adresu z podsítě a dá se k nim získat přímý pøístup. Tyto IP adresy musí být v rámci vašeho síťového prostoru jedinečné a musí být plánovány předem. Každý uzel má parametr konfigurace maximálního počtu lusků, které podporuje. Pro tento uzel je pak rezervovaný i ekvivalentní počet IP adres na uzel. Tento přístup vyžaduje více plánování a často vede k vyčerpání IP adres nebo k nutnosti opětovnému sestavení clusterů ve větší podsíti, dokud vaše aplikace požaduje růst.

V tomto článku se dozvíte, jak pomocí sítě Azure CNI vytvořit a použít podsíť virtuální sítě pro cluster AKS. Další informace o možnostech a požadavcích sítě najdete v tématu Koncepty sítě pro Kubernetes a AKS.

Požadavky

• Virtuální síť pro cluster AKS musí umožňovat odchozí připojení k Internetu.
• Clustery AKS nemůžou 169.254.0.0/16 používat 172.30.0.0/16 172.31.0.0/16 192.0.2.0/24 Rozsah adres služby Kubernetes pod rozsahem adres nebo rozsah adres virtuálních sítí clusteru.
• Identita clusteru používaná clusterem AKS musí mít alespoň oprávnění Přispěvatel sítě v podsíti v rámci vaší virtuální sítě. Pokud chcete místo používání předdefinované role přispěvatele sítě definovat vlastní roli , vyžadují se následující oprávnění:
  • Microsoft.Network/virtualNetworks/subnets/join/action
  • Microsoft.Network/virtualNetworks/subnets/read
• Podsíť přiřazená ke fondu uzlů AKS nemůže být delegovaná podsíť.
• AKS nepoužívá ke své podsíti skupiny zabezpečení sítě (skupin zabezpečení sítě) a nemění žádné z skupin zabezpečení sítě přidružených k této podsíti. Pokud zadáte vlastní podsíť a přidáte skupin zabezpečení sítě přidružené k této podsíti, je nutné zajistit, aby pravidla zabezpečení v skupin zabezpečení sítě povolovala provoz mezi uzly a pod rozsahem CIDR. Další podrobnosti najdete v tématu skupiny zabezpečení sítě.

Naplánování IP adres pro cluster

Clustery nakonfigurované pomocí sítě Azure CNI vyžadují další plánování. Velikost vaší virtuální sítě a její podsítě musí vyhovovat počtu lusků, které chcete spustit, a počtu uzlů pro cluster.

IP adresy pro lusky a uzly clusteru se přiřazují ze zadané podsítě v rámci virtuální sítě. Každý uzel je nakonfigurovaný s primární IP adresou. Ve výchozím nastavení jsou v Azure CNI předem nakonfigurované 30 dalších IP adres, které jsou přiřazené k částice naplánované na uzlu. Při horizontálním navýšení kapacity clusteru se každý uzel nakonfiguruje s využitím IP adres z podsítě. Můžete si také zobrazit Maximum lusků na jeden uzel.

Pokud očekáváte, že uzly budou spouštět maximální počet lusků, a pravidelně zničit a nasazovat lusky, měli byste také zvážit v některých dalších IP adresách na jeden uzel. Tyto další IP adresy berou v úvahu, že může trvat několik sekund, než se služba odstraní a IP adresa uvolněná pro novou službu, která se má nasadit a získat adresu.

Plán IP adres pro cluster AKS se skládá z virtuální sítě, minimálně jedné podsítě pro uzly a lusky a rozsahu adres služby Kubernetes.

Maximální počet lusků na uzel

Maximální počet lusků na uzel v clusteru AKS je 250. Výchozí maximální počet lusků na uzel se liší mezi Kubenet a sítí Azure CNI a metodou nasazení clusteru.

Konfigurace maximálního počtu nových clusterů

Při nasazování clusteru nebo přidávání nových fondů uzlů můžete nakonfigurovat maximální počet podů na uzel. Pokud nasazujete pomocí Azure CLI nebo Resource Manager šablony, můžete nastavit maximální počet podů na hodnotu uzlu až 250.

Pokud při vytváření nových fondů uzlů nezadáte maxPods, obdržíte výchozí hodnotu 30 pro Azure CNI.

Minimální hodnota maximálního počtu podů na uzel se vynucuje, aby se zaručil prostor pro systémové pody kritické pro stav clusteru. Minimální hodnota, kterou lze nastavit pro maximální počet podů na uzel, je 10, pokud a pouze v případě, že konfigurace každého fondu uzlů má místo pro minimálně 30 podů. Například nastavení maximálního počtu podů na uzel na minimálně 10 vyžaduje, aby každý fond uzlů měl minimálně 3 uzly. Tento požadavek platí také pro každý nově vytvořený fond uzlů, takže pokud je jako maximální počet podů na uzel definováno 10, každý další přidaný fond uzlů musí mít alespoň 3 uzly.

• Azure CLI: --max-pods Při nasazování clusteru zadejte argument pomocí příkazu az aks create. Maximální hodnota je 250.
• Resource Manager: Při nasazování clusteru s Resource Manager šablonou zadejte vlastnost v objektu maxPods [ManagedClusterAgentPoolProfile.] Maximální hodnota je 250.
• Azure Portal: Maximální počet podů na uzel nemůžete změnit, když nasadíte cluster s Azure Portal. Azure CNI síťových clusterů jsou při nasazení pomocí nástroje omezené na 110 podů na Azure Portal.

Konfigurace maxima – existující clustery

Nastavení maxPod na uzel je možné definovat při vytváření nového fondu uzlů. Pokud potřebujete zvýšit nastavení maxPod na uzel v existujícím clusteru, přidejte nový fond uzlů s novým požadovaným maxPod count. Po migraci podů do nového fondu odstraňte starší fond. Pokud chcete odstranit všechny starší fondy v clusteru, ujistěte se, že jste nastavovali režimy fondu uzlů, jak je definováno v dokumentu fondy systémových uzlů.

Parametry nasazení

Při vytváření clusteru AKS je možné konfigurovat následující parametry pro Azure CNI sítě:

Virtuální síť: Virtuální síť, do které chcete nasadit cluster Kubernetes. Pokud chcete vytvořit novou virtuální síť pro cluster, vyberte Vytvořit novou a postupujte podle kroků v části Vytvoření virtuální sítě. Informace o limitech a kvótách pro virtuální síť Azure najdete v tématu Limity, kvóty a omezení předplatného a služeb Azure.

Podsíť: Podsíť v rámci virtuální sítě, do které chcete cluster nasadit. Pokud chcete vytvořit novou podsíť ve virtuální síti pro váš cluster, vyberte Vytvořit novou a postupujte podle kroků v části Vytvoření podsítě. V případě hybridního připojení by se rozsah adres neměl překrývat s žádnými jinými virtuálními sítěmi ve vašem prostředí.

Modul plug-in Azure Network: Pokud se používá modul plug-in sítě Azure, interní služba LoadBalancer s "externalTrafficPolicy=Local" není přístupná z virtuálních počítače s IP adresou v clusteruCIDR, která nepatří do clusteru AKS.

Rozsah adres služby Kubernetes: Tento parametr je sada virtuálních IP adres, které Kubernetes přiřadí interním službám ve vašem clusteru. Můžete použít libovolný rozsah privátních adres, který splňuje následující požadavky:

• Nesmí být v rozsahu IP adres virtuální sítě vašeho clusteru.
• Nesmí se překrývat s žádnými jinými virtuálními sítěmi, se jinými partnerskými uzly virtuálních sítí clusteru.
• Nesmí se překrývat s žádnými místními IP adresy.
• Nesmí být v rozsahu 169.254.0.0/16 , , nebo 172.30.0.0/16 172.31.0.0/16 . 192.0.2.0/24

I když je technicky možné zadat rozsah adres služby ve stejné virtuální síti jako cluster, nedoporučuje se to. Při použití překrývajících se rozsahů IP adres může dojít k nepředvídatelným chováním. Další informace najdete v části Nejčastější dotazy v tomto článku. Další informace o službách Kubernetes najdete v tématu Služby v dokumentaci ke Kubernetes.

IP adresa služby DNS Kubernetes: IP adresa služby DNS clusteru. Tato adresa musí být v rozsahu adres služby Kubernetes. Nepoužívejte první IP adresu v rozsahu adres. První adresa v rozsahu podsítě se používá pro adresu kubernetes.default.svc.cluster.local.

Adresa mostu Dockeru: Síťová adresa mostu Docker představuje výchozí síťovou adresu mostu Docker0, která se nachází ve všech instalacích Dockeru. Přestože most Docker0 nejsou používány clustery AKS ani pody, musíte tuto adresu nastavit tak, aby pokračovala v podpoře scénářů, jako je docker build v rámci clusteru AKS. Pro síťovou adresu mostu Dockeru je potřeba vybrat CIDR, protože jinak Docker automaticky vybere podsíť, která by mohla být v konfliktu s jinými CIDRs. Musíte vybrat adresní prostor, který se nesbývá se zbytkem CIDR ve vašich sítích, včetně CIDR služby clusteru a CIDR podu.

Konfigurace sítí – rozhraní příkazového řádku

Při vytváření clusteru AKS pomocí Azure CLI můžete také nakonfigurovat Azure CNI sítě. Pomocí následujících příkazů vytvořte nový cluster AKS s povolenými Azure CNI sítěmi.

Nejprve získejte ID prostředku podsítě pro existující podsíť, ke které bude cluster AKS připojený:

$ az network vnet subnet list \
    --resource-group myVnet \
    --vnet-name myVnet \
    --query "[0].id" --output tsv

/subscriptions/<guid>/resourceGroups/myVnet/providers/Microsoft.Network/virtualNetworks/myVnet/subnets/default

Pomocí příkazu az aks create s argumentem vytvořte --network-plugin azure cluster s pokročilými síťovými funkcemi. Aktualizujte --vnet-subnet-id hodnotu s ID podsítě, které jste získali v předchozím kroku:

az aks create \
    --resource-group myResourceGroup \
    --name myAKSCluster \
    --network-plugin azure \
    --vnet-subnet-id <subnet-id> \
    --docker-bridge-address 172.17.0.1/16 \
    --dns-service-ip 10.2.0.10 \
    --service-cidr 10.2.0.0/24 \
    --generate-ssh-keys

Konfigurace sítí – portál

Následující snímek obrazovky z Azure Portal ukazuje příklad konfigurace těchto nastavení během vytváření clusteru AKS:

! [Pokročilá konfigurace sítě v Azure Portal] [portal-01-networking-advanced]

Dynamické přidělování IP adres a podpora rozšířené podsítě (Preview)

Nevýhodou tradiční cni je vyčerpání IP adres podů s tím, jak se cluster AKS rozrůstá, což má za následek potřebu opětovného sestavení celého clusteru v větší podsíti. Nová funkce dynamického přidělování IP adres v Azure CNI tento problém řeší tím, že se IP adresy podů přidělí z podsítě oddělené od podsítě hostující cluster AKS. Nabízí následující výhody:

• Lepší využití IP adres: IP adresy se dynamicky přidělují podům clusteru z podsítě Pod. To vede k lepšímu využití IP adresy v clusteru v porovnání s tradičním řešením CNI, které staticky přiděluje IP adresy pro každý uzel.

• Škálovatelné a flexibilní: Podsítě uzlů a podů je možné škálovat nezávisle. Pod s jednou podsítí je možné sdílet napříč několika fondy uzlů clusteru nebo mezi několika clustery AKS nasazených ve stejné virtuální síti. Můžete také nakonfigurovat samostatnou pod pro fond uzlů.

• Vysoký výkon: Vzhledem k tomu, že jsou podu přiřazeny IP adresy virtuální sítě, mají přímé připojení k dalším podu clusteru a prostředkům ve virtuální síti. Řešení podporuje velmi velké clustery bez jakéhokoli snížení výkonu.

• Samostatné zásady virtuální sítě pro pody: Vzhledem k tomu, že pody mají samostatnou pody, můžete pro ně nakonfigurovat samostatné zásady virtuální sítě, které se liší od zásad uzlů. To umožňuje mnoho užitečných scénářů, jako je povolení připojení k internetu pouze pro pody a ne pro uzly, oprava zdrojové IP adresy pro pody ve fondu uzlů pomocí naT sítě virtuální sítě a použití skupiny zabezpečení sítě k filtrování provozu mezi fondy uzlů.

• Zásady sítě Kubernetes: S tímto novým řešením pracují zásady sítě Azure i calico.

Další požadavky

Požadavky, které jsou už uvedené Azure CNI stále platí, ale existuje několik dalších omezení:

• Podporují se pouze clustery uzlů Linuxu a fondy uzlů.
• Clustery modulu AKS a DIY nejsou podporované.

Instalace aks-preview Azure CLI

Budete potřebovat rozšíření Azure CLI aks-preview. Nainstalujte rozšíření Azure CLI aks-preview pomocí příkazu az extension add. Nebo nainstalujte všechny dostupné aktualizace pomocí příkazu az extension update.

# Install the aks-preview extension
az extension add --name aks-preview

# Update the extension to make sure you have the latest version installed
az extension update --name aks-preview

Registrace funkce PodSubnetPreview Preview

Pokud chcete tuto funkci používat, musíte ve svém předplatném také povolit PodSubnetPreview příznak funkce.

Zaregistrujte PodSubnetPreview příznak funkce pomocí příkazu az feature register, jak je znázorněno v následujícím příkladu:

az feature register --namespace "Microsoft.ContainerService" --name "PodSubnetPreview"

Zobrazení stavu Registrováno trvá několik minut. Pomocí příkazu az feature list ověřte stav registrace:

az feature list -o table --query "[?contains(name, 'Microsoft.ContainerService/PodSubnetPreview')].{Name:name,State:properties.state}"

Až budete připravení, aktualizujte registraci poskytovatele prostředků Microsoft.ContainerService pomocí příkazu az provider register:

az provider register --namespace Microsoft.ContainerService

Plánování IP adresování

Při použití této funkce je plánování mnohem jednodušší. Vzhledem k tomu, že se uzly a pody škálují nezávisle, je možné jejich adresní prostory naplánovat také samostatně. Vzhledem k tomu, že podsítě podů je možné nakonfigurovat na členitost fondu uzlů, mohou zákazníci při přidávání fondu uzlů vždy přidat novou podsíť. Systémové pody ve fondu clusteru nebo uzlu také přijímají IP adresy z podsítě podů, takže toto chování je potřeba zohlednit.

Plánování IP adresy pro služby Kubernetes a most Docker zůstávají beze změny.

Maximální počet podů na uzel v clusteru s dynamickým přidělením IP adres a rozšířenou podporou podsítě

Hodnoty podů na uzel při použití Azure CNI s dynamickým přidělením IP adresy se mírně změnily od tradičního chování CNI:

Všechny ostatní pokyny související s konfigurací maximálního počtu uzlů na pod zůstávají stejné.

Další parametry nasazení

Všechny výše popsané parametry nasazení jsou stále platné s jednou výjimkou:

• Parametr podsítě teď odkazuje na podsíť související s uzly clusteru.
• K určení podsítě, jejíž IP adresy se budou dynamicky přidělovat podům, se používá další podová podová podová podová pod.

Konfigurace sítě – rozhraní příkazového řádku s dynamickým přidělováním IP adres a rozšířenou podporou podsítě

Použití dynamického přidělování IP adres a podpory rozšířené podsítě v clusteru se podobá výchozí metodě konfigurace clusteru Azure CNI. Následující příklad vás provede vytvořením nové virtuální sítě s podsítí pro uzly a pody a vytvořením clusteru, který používá Azure CNI s dynamickým přidělením IP adres a rozšířenou podporou podsítě. Nezapomeňte nahradit proměnné, například $subscription vlastními hodnotami:

Nejprve vytvořte virtuální síť se dvěma podsítěmi:

resourceGroup="myResourceGroup"
vnet="myVirtualNetwork"
location="westcentralus"

# Create the resource group
az group create --name $resourceGroup --location $location

# Create our two subnet network 
az network vnet create -g $resourceGroup --location $location --name $vnet --address-prefixes 10.0.0.0/8 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name nodesubnet --address-prefixes 10.240.0.0/16 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name podsubnet --address-prefixes 10.241.0.0/16 -o none 

Pak vytvořte cluster odkazující na podsíť node pomocí příkazu a --vnet-subnet-id podsítě podu pomocí --pod-subnet-id příkazu :

clusterName="myAKSCluster"
subscription="aaaaaaa-aaaaa-aaaaaa-aaaa"

az aks create -n $clusterName -g $resourceGroup -l $location \
  --max-pods 250 \
  --node-count 2 \
  --network-plugin azure \
  --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/nodesubnet \
  --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/podsubnet  

Přidání fondu uzlů

Při přidávání fondu uzlů odkažte na podsíť uzlu pomocí příkazu a --vnet-subnet-id pod pod pomocí --pod-subnet-id . Následující příklad vytvoří dvě nové podsítě, na které se pak odkazuje při vytváření nového fondu uzlů:

az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name node2subnet --address-prefixes 10.242.0.0/16 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name pod2subnet --address-prefixes 10.243.0.0/16 -o none 

az aks nodepool add --cluster-name $clusterName -g $resourceGroup  -n newnodepool \
  --max-pods 250 \
  --node-count 2 \
  --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/node2subnet \
  --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/pod2subnet \
  --no-wait 

Nejčastější dotazy

Následující otázky a odpovědi se vztahují na konfiguraci Azure CNI sítě.

• Můžu v podsíti clusteru nasadit virtuální počítače?

  Ano.

• Jakou zdrojovou IP adresu vidí externí systémy pro provoz, který pochází Azure CNI podu s povoleným přístupem?

  Systémy ve stejné virtuální síti jako cluster AKS vidí IP adresu podu jako zdrojovou adresu pro jakýkoli provoz z podu. Systémy mimo virtuální síť clusteru AKS vidí IP adresu uzlu jako zdrojovou adresu pro jakýkoli provoz z podu.

• Můžu nakonfigurovat zásady sítě pro každý pod?

  Ano, zásady sítě Kubernetes jsou k dispozici v AKS. Pokud chcete začít, podívejte se na článek Zabezpečení provozu mezi pody pomocí zásad sítě v AKS.

• Je možné konfigurovat maximální počet podů nasazovatelných do uzlu?

  Ano, když nasazujete cluster pomocí Azure CLI nebo Resource Manager šablony. Viz Maximální počet podů na uzel.

  Maximální počet podů na uzel v existujícím clusteru není možné změnit.

• Návody pro podsíť vytvořenou při vytváření clusteru AKS nakonfigurovat další vlastnosti? Například koncové body služby.

  Úplný seznam vlastností virtuální sítě a podsítí, které vytvoříte při vytváření clusteru AKS, můžete nakonfigurovat na stránce standardní konfigurace virtuální sítě v Azure Portal.

• Můžu pro rozsah adres služby Kubernetes použít jinou podsíť v rámci virtuální sítě clusteru?

  Nedoporučuje se to, ale tato konfigurace je možná. Rozsah adres služby je sada virtuálních IP adres (V IP), které Kubernetes přiřaďte interním službám ve vašem clusteru. Sítě Azure nemá žádný přehled o rozsahu IP adres služby clusteru Kubernetes. Kvůli nedostatečné viditelnosti rozsahu adres služby clusteru je možné později vytvořit novou podsíť ve virtuální síti clusteru, která se překrývá s rozsahem adres služby. Pokud dojde k takovému překrývání, Kubernetes může službě přiřadit IP adresu, kterou už používá jiný prostředek v podsíti, což by způsobilo nepředvídatelné chování nebo selhání. Když zajistíte, že budete používat rozsah adres mimo virtuální síť clusteru, můžete se tomuto riziku překrývání vyhnout.

Nejčastější dotazy k dynamickému přidělování IP adres a rozšířené podsítě

Následující otázky a odpovědi se vztahují na konfiguraci Azure CNI sítě při použití dynamického přidělování IP adres a podpory rozšířené podsítě.

• Můžu fondu uzlů nebo clusteru přiřadit několik podsítí podů?

  Ke clusteru nebo fondu uzlů je možné přiřadit pouze jednu podsíť. Jednu podsíť však může sdílet více clusterů nebo fondů uzlů.

• Můžu úplně přiřadit podsítě podů z jiné virtuální sítě?

  Podová pod pod by měla být ze stejné virtuální sítě jako cluster.

• Mohou některé fondy uzlů v clusteru používat tradiční CNI, zatímco jiné používají novou CNI?

  Celý cluster by měl používat pouze jeden typ CNI.

Modul AKS

Azure Kubernetes Service Engine (Modul AKS) je open source projekt, který generuje šablony Azure Resource Manager, které můžete použít k nasazení clusterů Kubernetes v Azure.

Clustery Kubernetes vytvořené pomocí modulu AKS podporují jak moduly plug-in kubenet, tak Azure CNI moduly plug-in. Modul AKS tak podporuje oba scénáře sítí.

Další kroky

Další informace o sítích v AKS najdete v následujících článcích:

• Použití statické IP adresy s Azure Kubernetes Service (AKS)

• Použití interního nástroje pro vyrovnávání zatížení s Azure Container Service (AKS)

• Vytvoření základního kontroleru příchozího přenosu dat s externím připojením k síti

• Povolení doplňku pro směrování aplikace HTTP

• Vytvoření kontroleru příchozího přenosu dat, který používá interní privátní síť a IP adresu

• Vytvoření kontroleru příchozího přenosu dat s dynamickou veřejnou IP adresou a konfigurace let's Encrypt pro automatické generování certifikátů TLS

• Vytvoření kontroleru příchozího přenosu dat se statickou veřejnou IP adresou a konfigurace let's Encrypt pro automatické generování certifikátů TLS

[advanced-networking-diagram-01]: ./media/networking-overview/advanced-networking-diagram-01.png [portal-01-networking-advanced]: ./media/networking-overview/portal-01-networking-advanced.png