Microsoft Azure 網路介面卡 (MANA) 和 Linux 上的 DPDK

發行項
03/20/2024

Microsoft Azure 網路介面卡 (MANA) 是 Azure 虛擬機器的新硬體，提供更高的輸送量和可靠性。若要使用 MANA，使用者必須修改其 DPDK 初始化常式。與舊版硬體相比，MANA 需要進行兩項變更：

輪詢模式驅動程式 (PMD) 的 MANA EAL 引數與先前硬體不同。
Linux 核心必須先釋出 MANA 網路介面的控制，才能開始進行 DPDK 初始化。

範例程式碼中概述 MANA DPDK 的安裝程序。

簡介

舊版 Azure Linux VM 依賴 mlx4 或 mlx5 驅動程式，以及加速網路隨附的硬體。 Azure DPDK 使用者可將流排位址傳遞至 DPDK EAL，來選取要包含或排除的特定介面。 MANA DPDK 的設定程序稍有不同，因為每個加速網路介面會有一個流排位址的假設不再成立。 MANA PMD 不會使用 PCI 流排位址，而是使用 MAC 位址來判斷其應該繫結的介面。

MANA DPDK EAL 引數

當沒有 --vdev 引數時，MANA PMD 會探查系統上的所有裝置和連接埠；--vdev 引數則不是必要項目。測試環境通常會保留一個可用的 (主要) 介面供 SSH 連線至 VM。若要使用 DPDK 搭配可用 VF 子集，使用者應該將 MANA 裝置流排位址和介面的 MAC 位址傳遞至 --vdev 引數。如需詳細資料，請參閱 MANA 上的 DPDK EAL 初始化中示範的範例程式碼。

如需 DPDK 環境抽象層 (EAL) 的一般資訊：

MANA 的 DPDK 需求

在 MANA 硬體上使用 DPDK 需要 Linux 核心 6.2 或更新版本，或是最新 Linux 核心中乙太網路和 InfiniBand 驅動程式的向後移植。同時需要特定版本的 DPDK 和使用者空間驅動程式。

MANA DPDK 需要下列驅動程式集合：

Linux 核心乙太網路驅動程式 (5.15 核心和更新版本)
Linux 核心 InfiniBand 驅動程式 (6.2 核心和更新版本)
DPDK MANA 輪詢模式驅動程式 (DPDK 22.11 和更新版本)
Libmana 使用者空間驅動程式 (rdma 核心 v44 和更新版本)

注意

MANA DPDK 不適用於 Windows；其只適用於 Linux VM。

範例：檢查 MANA

注意

本文假設系統上已安裝 pciutils 套件 (包含 lspci 命令)。

# check for pci devices with ID:
#   vendor: Microsoft Corporation (1414)
#   class:  Ethernet Controller (0200)
#   device: Microsft Azure Network Adapter VF (00ba)
if [[ -n `lspci -d 1414:00ba:0200` ]]; then
    echo "MANA device is available."
else
    echo "MANA was not detected."
fi

範例：DPDK 安裝 (Ubuntu 22.04)

注意

本文假設系統上已安裝相容的核心和 rdma 核心。

DEBIAN_FRONTEND=noninteractive sudo apt-get install -q -y build-essential libudev-dev libnl-3-dev libnl-route-3-dev ninja-build libssl-dev libelf-dev python3-pip meson libnuma-dev

pip3 install pyelftools

# Try latest LTS DPDK, example uses DPDK tag v23.07-rc3
git clone https://github.com/DPDK/dpdk.git -b v23.07-rc3 --depth 1
pushd dpdk
meson build
cd build
ninja
sudo ninja install
popd

範例：Testpmd 設定和 netvsc 測試

請注意下列使用 MANA 執行 DPDK 的範例程式碼。建議在 Azure 上使用 direct-to-vf 'netvsc' 設定，以獲得 MANA 的最大效能。

注意

DPDK 需要啟用 2 MB 或 1 GB 的 Huge Pages

# Enable 2MB hugepages.
echo 1024 | tee /sys/devices/system/node/node*/hugepages/hugepages-2048kB/nr_hugepages

# Assuming use of eth1 for DPDK in this demo
PRIMARY="eth1"

# $ ip -br link show master eth1 
# > enP30832p0s0     UP             f0:0d:3a:ec:b4:0a <... # truncated
# grab interface name for device bound to primary
SECONDARY="`ip -br link show master $PRIMARY | awk '{ print $1 }'`"
# Get mac address for MANA interface (should match primary)
MANA_MAC="`ip -br link show master $PRIMARY | awk '{ print $3 }'`"


# $ ethtool -i enP30832p0s0 | grep bus-info
# > bus-info: 7870:00:00.0
# get MANA device bus info to pass to DPDK
BUS_INFO="`ethtool -i $SECONDARY | grep bus-info | awk '{ print $2 }'`"

# Set MANA interfaces DOWN before starting DPDK
ip link set $PRIMARY down
ip link set $SECONDARY down


## Move synthetic channel to user mode and allow it to be used by NETVSC PMD in DPDK
DEV_UUID=$(basename $(readlink /sys/class/net/$PRIMARY/device))
NET_UUID="f8615163-df3e-46c5-913f-f2d2f965ed0e"
modprobe uio_hv_generic
echo $NET_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/new_id
echo $DEV_UUID > /sys/bus/vmbus/drivers/hv_netvsc/unbind
echo $DEV_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/bind

# MANA single queue test
dpdk-testpmd -l 1-3 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --txd=128 --rxd=128 --stats 2

# MANA multiple queue test (example assumes > 9 cores)
dpdk-testpmd -l 1-9 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --nb-cores=8  --txd=128 --rxd=128 --txq=8 --rxq=8 --stats 2

疑難排解

無法將介面設為關閉。

無法將 MANA 繫結裝置設為「關閉」，可能會導致低或零封包輸送量。無法釋出裝置可能會導致與傳輸佇列相關的 EAL 錯誤訊息。

mana_start_tx_queues(): Failed to create qp queue index 0
mana_dev_start(): failed to start tx queues -19

無法啟用 Huge Pages。

請嘗試啟用 Huge Pages，並確認 meminfo 可顯示資訊。

EAL: No free 2048 kB hugepages reported on node 0
EAL: FATAL: Cannot get hugepage information.
EAL: Cannot get hugepage information.
EAL: Error - exiting with code: 1
Cause: Cannot init EAL: Permission denied

使用 --vdev=“net_vdev_netvsc0，iface=eth1” 的低輸送量

不建議使用 net_failsafe 或 net_vdev_netvsc 輪詢模式驅動程式的容錯移轉設定，以確保在 Azure 上達到高效能。具有 DPDK 20.11 版或更高版本的 netvsc 設定可能會提供更好結果。為了獲得最佳效能，請確定 Linux 核心、rdma 核心和 DPDK 套件符合 DPDK 和 MANA 列出的需求。

共用方式為