Azure Stack HCI 的主機網路需求

適用於:Azure Stack HCI 版本 23H2 和 22H2

本主題討論 Azure Stack HCI 的主機網路考量和需求。 如需資料中心架構和伺服器之間實體連線的詳細資訊,請參閱實體網路需求

如需如何使用網路 ATC 簡化主機網路的相關資訊,請參閱使用網路 Atc 簡化主機網路

網路流量類型

Azure Stack HCI 網路流量可依其預定用途分類:

  • 管理流量:本機叢集外部的流量。 例如,儲存複本流量或管理員用於管理叢集,像是遠端桌面、Windows Admin Center、Active Directory 等等的流量。
  • 計算流量:以虛擬機器 (VM) 為來源或目的地的流量。
  • 儲存體流量:使用 Server Message Block (SMB) 的流量,例如儲存空間直接存取或 SMB 型即時移轉。 此流量是第 2 層流量,而且無法路由傳送。

重要事項

儲存體複本會使用非 RDMA 型 SMB 流量。 這和 (北-南) 的流量方向性質,使其與上述「管理」流量緊密對齊,近似於傳統檔案共用的流量。

選取網路介面卡

網路介面卡是由網路流量類型限定,(請參閱上述) 支援其搭配使用。 當您檢閱 Windows Server 目錄時,Windows Server 2022 認證現在表示下列一或多個角色。 在購買 Azure Stack HCI 的伺服器之前,您至少 必須至少有一個配接器符合管理、計算和儲存體的資格,因為 Azure Stack HCI 上需要這三種流量類型。 然後,您可以使用網路 ATC 為您的配接器設定適當的流量類型。

如需此角色型 NIC 資格的詳細資訊,請參閱此連結

重要

不支援在其限定流量類型之外使用配接器。

層級 管理角色 計算角色 儲存體角色
角色型區別 管理性 計算標準 記憶體標準
最高額獎勵 不適用 計算進階版 儲存體進階版

注意

我們生態系統中任何配接器的最高資格將包含管理計算進階儲存體進階資格。

顯示「經 Windows 認證」資格的螢幕快照,包括管理、計算進階和記憶體進階功能。

驅動程式需求

不支援與 Azure Stack HCI 搭配使用收件匣驅動程式。 若要識別您的介面卡是否使用收件匣驅動程式,請執行下列 Cmdlet。 如果 DriverProvider 屬性為 Microsoft,介面卡就會使用收件匣驅動程式。

Get-NetAdapter -Name <AdapterName> | Select *Driver*

重要網路介面卡功能概觀

Azure Stack HCI 所使用的重要網路介面卡功能包括:

  • 動態虛擬機器多重佇列 (動態 VMMQ 或 d.VMMQ)
  • 遠端直接記憶體存取 (RDMA)
  • 客體 RDMA
  • 交換器內嵌小組 (SET)

動態 VMMQ

所有具有計算 (進階) 資格的網路適配器都支援動態 VMMQ。 動態 VMMQ 需要使用交換器內嵌小組。

適用的流量類型:計算

需要認證: 計算進階 ()

動態 VMMQ 是一種智慧型接收端技術。 其建立在其虛擬機器佇列 (VMQ)、虛擬接收端調整 (vRSS) 和 VMMQ 前身的基礎上,以提供三個主要改善:

  • 使用較少的 CPU 核心來最佳化主機效率。
  • 自動將網路流量處理調整為 CPU 核心,進而讓 VM 可以符合和維護預期的輸送量。
  • 可讓「高載」工作負載接收預期的流量。

如需動態 VMMQ 的詳細資訊,請參閱部落格文章綜合加速

RDMA

RDMA 是網路介面卡的網路堆疊卸載。 其可讓 SMB 儲存體流量略過作業系統進行處理。

RDMA 使用最少的主機 CPU 資源,啟用高輸送量、低延遲的網路。 然後,這些主機 CPU 資源可以用來執行其他 VM 或容器。

適用的流量類型:主機儲存體

需要認證: 記憶體 (標準)

具有記憶體 (標準) 或記憶體 (進階) 資格的所有適配卡都支援主機端 RDMA。 For more information on using RDMA with guest workloads, see the "Guest RDMA" section later in this article.

Azure Stack HCI 支援 RDMA 與因特網廣域 RDMA 通訊協定 (iWARP) 或透過交集式乙太網路 (RoCE) 通訊協定實作的 RDMA。

重要

RDMA 介面卡只能與其他實作相同 RDMA 通訊協定 (iWARP 或 RoCE) 的 RDMA 介面卡搭配使用。

並非所有廠商的網路介面卡都支援 RDMA。 下表列出這些廠商 (依字母順序排列,) 提供認證的 RDMA 配接器。 不過,也有一些未包含在這份清單中的硬體廠商支援 RDMA。 請參閱 Windows Server 目錄 ,以尋找具有需要 RDMA 支援的記憶體 (標準) 或記憶體 (進階) 資格的適配卡。

注意

不支援 InfiniBand (IB) 搭配 Azure Stack HCI。

NIC 廠商 iWARP RoCE
Broadcom Yes
Intel Yes 是 (某些型號)
(Qlogic) Yes Yes
Nvidia No Yes

如需部署主機 RDMA 的詳細資訊,強烈建議您使用網路 ATC。 如需手動部署的資訊,請參閱 SDN GitHub 存放庫

iWARP

iWARP 使用傳輸控制通訊協定 (TCP),並可以使用優先順序型流程控制 (PFC) 和增強型傳輸服務 (ETS) 來選擇性地增強。

若是下列情況,請使用 iWARP:

  • 您沒有管理 RDMA 網路的經驗。
  • 您不會管理或無法管理機架頂端 (ToR) 交換器。
  • 部署之後,您將不會管理解決方案。
  • 您已有使用 iWARP 的部署。
  • 您不確定要選擇哪一個選項。

RoCE

RoCE 使用使用者資料包協定 (UDP),而且需要 PFC 和 ETS 來提供可靠性。

若是下列情況,請使用 RoCE:

  • 您的資料中心已有搭配 RoCE 的部署。
  • 您對管理 DCB 網路需求感到滿意。

客體 RDMA

客體 RDMA 可讓 VM 的 SMB 工作負載獲得與在主機上使用 RDMA 相同的優勢。

適用的流量類型:客體型儲存體

需要認證: 計算進階 ()

使用客體 RDMA 的主要優點如下:

  • 將 CPU 卸載至 NIC 以進行網路流量處理。
  • 極低延遲。
  • 高輸送量。

如需詳細資訊,請從 SDN GitHub 存放庫下載文件。

交換器內嵌小組 (SET)

設定是一種軟體型小組技術,自 Windows Server 2016 以來已包含在 Windows Server 作業系統中。 SET 是 Azure Stack HCI 所支援的唯一團隊技術。 SET 適用於計算、記憶體和管理流量,且在相同小組中最多支援八個適配卡。

適用的流量類型:計算、儲存體和管理

需要認證: 計算 (Standard) 或 Compute (Premium)

SET 是 Azure Stack HCI 所支援的唯一團隊技術。 SET 可妥善地使用計算、儲存體和管理流量。

重要

Azure Stack HCI 不支援舊版負載平衡/故障轉移 (LBFO) 的 NIC 小組。 如需有關 Azure Stack HCI 中 LBFO 的詳細資訊,請參閱部落格文章 Azure Stack HCI 中的小組

SET 對 Azure Stack HCI 很重要,因為這是唯一啟用的小組技術:

  • RDMA 介面卡的小組 (如有需要)。
  • 客體 RDMA。
  • 動態 VMMQ。
  • 其他重要 Azure Stack HCI 功能 (請參閱 Azure Stack HCI 中的小組)。

SET 需要使用對稱 (相同) 介面卡。 對稱網路介面卡是具有下列相同項目的介面卡:

  • 製作 (廠商)
  • 型號 (版本)
  • 速度 (輸送量)
  • 組態

在 22H2 中,網路 ATC 會自動偵測並通知您您選擇的適配卡是否非對稱。 手動識別配接器是否對稱最簡單的方式,就是速度與介面描述 是否完全 相符。 其只能在描述中列出的編號中有所偏離。 使用 Get-NetAdapterAdvancedProperty Cmdlet 來確保報告的設定列出相同的屬性值。

請參閱下表,以取得僅編號 (#) 偏離的介面描述範例:

名稱 介面描述 連結速度
NIC1 網路介面卡 #1 25 Gbps
NIC2 網路介面卡 #2 25 Gbps
NIC3 網路介面卡 #3 25 Gbps
NIC4 網路介面卡 #4 25 Gbps

注意

SET 僅支援與交換器無關的設定,方法為使用動態或 Hyper-V 連接埠負載平衡演算法。 為了達到最佳效能,建議使用 Hyper-V 連接埠,以在所有於 10 Gbps 以上運作的 NIC 上使用。 網路 ATC 會讓 SET 的所有必要設定。

RDMA 流量考量

如果實作 DCB,您必須確定已在每個網路連接埠 (包括網路交換器) 上適當地實作 PFC 和 ETS 設定。 DCB 是 RoCE 的必要項目,對 iWARP 則是選擇性項目。

如需如何部署 RDMA 的詳細資訊,請從 SDN GitHub 存放庫下載文件。

RoCE 型 Azure Stack HCI 實作需要跨網狀架構與所有主機設定三個 PFC 流量類別,包括預設流量類別。

叢集流量類別

此流量類別確保有足夠的頻寬保留給叢集活動訊號:

  • 必要:是
  • 已啟用 PFC:否
  • 建議的流量優先順序:優先順序 7
  • 建議的頻寬保留:
    • 10 GbE 或更低的 RDMA 網路 = 2%
    • 25 GbE 或更低的 RDMA 網路 = 1%

RDMA 流量類別

此流量類別會使用 SMB Direct,以確保有足夠的頻寬保留給無失真 RDMA 通訊:

  • 必要:是
  • 已啟用 PFC:是
  • 建議的流量優先順序:優先順序 3 或 4
  • 建議的頻寬保留:50%

預設流量類別

此流量類別會攜帶未在叢集或 RDMA 流量類別中定義的所有其他流量,包括 VM 流量和管理流量:

  • 必要:依預設 (主機上沒有必要的設定)
  • 已啟用流程控制 (PFC):否
  • 建議的流量類別:依預設 (優先順序 0)
  • 建議的頻寬保留:依預設 (沒有必要的主機設定)

儲存體流量模型

作為 Azure Stack HCI 的儲存體通訊協定,SMB 提供許多優點,包括 SMB 多重通道。 本文未涵蓋 SMB 多重通道,但請務必了解,流量會在 SMB 多重通道可以使用的每個可能連結之間多工。

注意

建議使用多個子網路和 VLAN,以區隔 Azure Stack HCI 中的儲存體流量。

請考慮下列四節點叢集的範例。 每部伺服器都有兩個儲存體連接埠 (左側和右側)。 因為每個介面卡都在相同的子網路和 VLAN 上,所以 SMB 多重通道會將連接分散到所有可用的連結。 因此,第一部伺服器上的左側連接埠 (192.168.1.1) 將會連線到第二部伺服器上的左側連接埠 (192.168.1.2)。 第一部伺服器上的右側連接埠 (192.168.1.12) 將會連線到第二部伺服器上的右側連接埠。 對於第三和第四部伺服器,也會建立類似的連線。

不過,這會建立不必要的連線,並在內部連結 (多底座連結匯總群組或 MC-LAG) 時導致連線 ToR 交換器 (以 Xs 標示) 的壅塞。 請參閱下圖:

圖中顯示相同子網路上的四個節點叢集。

建議的方法是針對每一組介面卡使用個別的子網路和 VLAN。 在下圖中,右手邊的連接埠現在使用子網路 192.168.2.x /24 和 VLAN2。 這可讓左側連接埠上的流量仍留在 TOR1,而右側連接埠上的流量仍留在 TOR2。

圖中顯示不同子網路上的四個節點叢集。

流量頻寬配置

下表說明各種流量類型 (使用常見的介面卡速度) 在 Azure Stack HCI 中的頻寬配置範例。 請注意,這是交集解決方案的範例,其中所有流量類型 (計算、儲存體和管理) 透過相同的實體介面卡執行,並使用 SET 進行分組。

因為此使用案例會造成大部分的條件約束,所以其代表良好的基準。 不過,考慮到介面卡數目和速度的組合,這應該視為範例,而不是支援需求。

以下是針對此範例所做的假設:

  • 每個小組有兩張介面卡。

  • 儲存體匯流排層 (SBL)、叢集共用磁碟區 (CSV) 和 Hyper-V (即時移轉) 流量:

    • 使用相同的實體介面卡。
    • 使用 SMB。
  • 系統會使用 DCB,為 SMB 提供 50% 頻寬配置。

    • SBL/CSV 是最高優先順序的流量,並接收 70% 的 SMB 頻寬保留。
    • 即時移轉 (LM) 會藉由使用 Set-SMBBandwidthLimit Cmdlet 加以限制,並會收到剩餘頻寬的 29%。
      • 如果即時移轉的可用頻寬是 >= 5 Gbps,且網路介面卡能夠使用,請使用 RDMA。 若要這樣做,請使用下列 Cmdlet:

        Set-VMHost -VirtualMachineMigrationPerformanceOption SMB
        
      • 如果即時移轉的可用頻寬為 < 5 Gbps,請使用壓縮來減少停機時間。 若要這樣做,請使用下列 Cmdlet:

        Set-VMHost -VirtualMachineMigrationPerformanceOption Compression
        
  • 如果您針對即時移轉流量使用 RDMA,請確定即時移轉流量無法使用 SMB 頻寬限制,來取用配置給 RDMA 流量類別的整個頻寬。 請小心,因為此 Cmdlet 會以每秒位元組 (Bps) 為單位來取得輸入,而網路介面卡則以每秒位元 (Bps) 為單位列出。 請使用下列 Cmdlet 將頻寬限制設定為 6 Gbps,例如:

    Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MB
    

    注意

    此範例中的 750 MBps 等於 6 Gbps。

以下是範例頻寬配置表:

NIC 速度 小組頻寬 SMB 頻寬保留** SBL/CSV % SBL/CSV 頻寬 即時移轉 % 最大即時移轉頻寬 活動訊號 % 活動訊號頻寬
10 Gbps 20 Gbps 10 Gbps 70% 7 Gbps ** 200 Mbps
25 Gbps 50 Gbps 25 Gbps 70% 17.5 Gbps 29% 7.25 Gbps 1% 250 Mbps
40 Gbps 80 Gbps 40 Gbps 70% 28 Gbps 29% 11.6 Gbps 1% 400 Mbps
50 Gbps 100 Gbps 50 Gbps 70% 35 Gbps 29% 14.5 Gbps 1% 500 Mbps
100 Gbps 200 Gbps 100 Gbps 70% 70 Gbps 29% 29 Gbps 1% 1 Gbps
200 Gbps 400 Gbps 200 Gbps 70% 140 Gbps 29% 58 Gbps 1% 2 Gbps

* 使用壓縮而非 RDMA,因為即時移轉流量的頻寬配置為 <5 Gbps。

** 50% 是範例頻寬保留。

延伸的叢集

延展式叢集可提供跨越多個資料中心的災害復原。 在其最簡單的形式中,延展式 Azure Stack HCI 叢集網路看起來像這樣:

顯示延展式叢集的圖表。

延展式叢集需求

延展式叢集具有下列需求和特性:

  • RDMA 限制為單一網站,而且系統不支援其跨不同網站或子網路。

  • 相同網站中的伺服器必須位於相同的機架和第 2 層界限內。

  • 網站之間的主機通訊必須跨越第 3 層界限;不支援延展式第 2 層拓撲。

  • 有足夠的頻寬可執行其他網站上的工作負載。 發生容錯移轉時,替代網站必須執行所有流量。 建議您在網站的可用網路容量為 50% 時佈建這些網站。 不過,如果您在容錯移轉期間可以容忍較低的效能,就不需要這樣做。

  • 網站之間的複寫 (北/南流量) 可以使用與本機儲存體 (東/西流量) 相同的實體 NIC。 如果您是使用相同的實體介面卡,則必須將這些介面卡與 SET 組成小組。 介面卡也須佈建額外的虛擬 NIC,以便可在網站之間路由傳送流量。

  • 用於網站之間通訊的介面卡:

    • 可以是實體或虛擬 (主機 vNIC)。 如果介面卡是虛擬,您必須在其自己的子網路和 VLAN 中佈建每個 NIC 一個 vNIC。

    • 必須位於自己的子網路和可在網站之間路由的 VLAN。

    • 必須使用 Disable-NetAdapterRDMA Cmdlet 停用 RDMA。 建議您明確要求儲存體複本使用特定介面,方法是使用 Set-SRNetworkConstraint Cmdlet。

    • 必須符合儲存體複本的任何其他需求。

延展式叢集範例

下列範例說明延展式叢集設定。 若要確保特定虛擬 NIC 對應至特定實體介面卡,請使用 Set-VMNetworkAdapterTeammapping Cmdlet。

顯示延展式叢集儲存體範例的圖表。

以下顯示範例延展式叢集設定的詳細資料。

注意

您的確切設定 (包括 NIC 名稱、IP 位址和 VLAN) 可能會與顯示的不同。 這只是用作可依據您環境調整的參考設定。

SiteA – 本機複寫、已啟用 RDMA、無法在網站間路由傳送

節點名稱 vNIC 名稱 實體 NIC (已對應) VLAN IP 和子網路 流量範圍
NodeA1 vSMB01 pNIC01 711 192.168.1.1/24 僅限本機網站
NodeA2 vSMB01 pNIC01 711 192.168.1.2/24 僅限本機網站
NodeA1 vSMB02 pNIC02 712 192.168.2.1/24 僅限本機網站
NodeA2 vSMB02 pNIC02 712 192.168.2.2/24 僅限本機網站

SiteB – 本機複寫、已啟用 RDMA、無法在網站間路由傳送

節點名稱 vNIC 名稱 實體 NIC (已對應) VLAN IP 和子網路 流量範圍
NodeB1 vSMB01 pNIC01 711 192.168.1.1/24 僅限本機網站
NodeB2 vSMB01 pNIC01 711 192.168.1.2/24 僅限本機網站
NodeB1 vSMB02 pNIC02 712 192.168.2.1/24 僅限本機網站
NodeB2 vSMB02 pNIC02 712 192.168.2.2/24 僅限本機網站

SiteA – 延展式複寫、已停用 RDMA、可在網站之間路由傳送

節點名稱 vNIC 名稱 實體 NIC (已對應) IP 和子網路 流量範圍
NodeA1 Stretch1 pNIC01 173.0.0.1/8 跨網站路由傳送
NodeA2 Stretch1 pNIC01 173.0.0.2/8 跨網站路由傳送
NodeA1 Stretch2 pNIC02 174.0.0.1/8 跨網站路由傳送
NodeA2 Stretch2 pNIC02 174.0.0.2/8 跨網站路由傳送

SiteB – 延展式複寫、已停用 RDMA、可在網站之間路由傳送

節點名稱 vNIC 名稱 實體 NIC (已對應) IP 和子網路 流量範圍
NodeB1 Stretch1 pNIC01 175.0.0.1/8 跨網站路由傳送
NodeB2 Stretch1 pNIC01 175.0.0.2/8 跨網站路由傳送
NodeB1 Stretch2 pNIC02 176.0.0.1/8 跨網站路由傳送
NodeB2 Stretch2 pNIC02 176.0.0.2/8 跨網站路由傳送

後續步驟