超融合架構在產品檢測平臺建設中的研究與應用

【摘 要】 超融合架構具有部署便捷、管理高效、成本低廉、延展性好等特點。本文從傳統產品檢測平臺面臨的實際問題出發，論述了采用超融合架構作為檢測平臺主體框架的必要性，分析和闡述了超融合架構的工作機制及其優勢特點，提出了一種以超融合架構為底層驅動的產品檢測平臺建設方案。該方案構建了測試資源池，重構了3N+實驗網主體結構，設計了三級容災備份體系，并以典型產品檢測過程為例，闡述了在超融合檢測平臺上進行檢測環境快速部署和具體測試應用的過程。以超融合架構為基礎的產品檢測平臺可為測試人員提供標準化測試流程和批量化測試能力支持，有效提高了測試效率，能夠為產品檢測工作提供基礎支撐。

【關鍵詞】 超融合架構    分布式存儲   資源池   虛擬化技術   產品檢測

1 引言

產品是構成信息系統安全防護體系的最小單元，其功能、性能、穩定性和安全性等各項技術指標是否達標，直接關系著信息系統整體安全防護效能的強弱，這就對產品檢測工作提出了更高的要求。而作為承載產品檢測工作的基礎設施，產品檢測平臺對測試環境和測試資源的管理與整合分發能力又直接決定了產品檢測過程的規范性和檢測效率。

傳統的產品檢測平臺采用的是一種“煙囪”式垂直體系架構，即每類產品測試所需的操作系統、數據庫和應用系統等測試資源均部署在獨立的物理服務器上，測試人員通過交換機調用相關服務器上的測試資源，并需要根據每類產品的檢測環境拓撲手動搭建測試環境，如圖1所示。

圖1 傳統產品檢測平臺的“煙囪”式垂直體系架構

這類平臺以物理設備為基礎，按照檢測對象搭建檢測環境，能夠在接近真實使用場景下開展產品檢測。但隨著產品檢測數量的增加，這種方式越來越難以適應工作需要，其不足具體表現為以下3點。

（1）資源利用率低。在傳統檢測平臺中，同一測試環境和資源只能為某個特定的測試對象服務，其他測試人員無法共享該測試環境和資源，導致無法對同類產品開展批量化測試，致使平臺的整體測試效率偏低。

（2）檢測環境復用性差。傳統檢測平臺的檢測環境或過于固化，容易產生資源浪費；或無法復用，每次測試都要重新搭建檢測環境，耗時費力。

（3）管理調度水平低。傳統檢測平臺的軟、硬件資源過于分散，容易形成資源孤島，缺少靈活統一的測試資源管理調度機制。

本文以超融合架構理念為基礎，通過對典型產品的測試資源調度邏輯和檢測環境部署需求進行分析和研究，設計了一種以超融合架構為底層驅動的產品檢測平臺，為產品檢測工作提供基礎支撐。

2 超融合架構及其優勢

2.1 超融合架構的工作機制

超融合架構（Hyper-Converged Infra-structure，HCI）是一種以標準的X86或ARM物理服務器為基礎，采用軟件定義的方式將計算、網絡和存儲等信息系統運行所必需的基本要素虛擬化，并通過專用虛擬化管理系統將之與負載均衡、鏡像同步、連續數據保護、快照管理、緩存加速、數據去重、數據壓縮、存儲管理和數據遷移等信息系統數據安全保護機制進行深度融合，形成一個獨立的工作節點，該節點在形態上表現為一臺超融合物理服務器（或稱“超融合一體機”）。

超融合工作節點是構成主機控制接口（HCI）的最小單元。在實際應用中，超融合工作節點之間一般通過網絡聚合成超融合工作節點集群，并采用分布式存儲技術將各個節點的存儲資源進行融合，形成一個具備統一存儲、集中管理、模塊化拓展和實時差錯校驗等特性的資源池系統，這就使得各工作節點之間無需相互依賴就可對外提供虛擬化的計算、網絡和存儲等服務，如圖2所示。

圖2 超融合工作節點集群

2.2 超融合架構的優勢

與傳統信息技術（IT）基礎架構相比，HCI具備以下5點優勢。

（1）系統部署更便捷。HCI將計算、網絡和存儲融合于同一物理服務器中，各服務器之間僅通過網絡交換機聚合形成集群，整個系統的組成元素簡單，部署過程方便快捷。

（2）硬件資源管理更高效。得益于流程化和自動化的硬件資源交付技術，HCI能夠按需索取集群系統的硬件資源，并能夠提供可視化的硬件資源分配情況，極大地簡化了對系統資源調度過程的人工干預，顯著提高了系統資源管理和調度的工作效率。

（3）信息系統建設成本更低，延展性更好。從理論上講，最少僅需要2個超融合工作節點就可以聚合成一個業務集群。因此，在信息系統建設之初可以按需采購對應數量的工作節點，而不必考慮為后續業務擴展預留系統資源。當現有系統無法承載業務需求時，只需新增對應數量的工作節點而無需中斷任何業務系統，就可以實現對信息系統的線性橫向擴展。

（4）系統穩定性和數據安全性更有保障。超融合集群各節點之間采用分布式多副本存儲技術對本地存儲資源進行虛擬化，再經集群整合成資源池，為信息系統提供存儲服務，并結合一系列即時同步等高可用技術，能夠在很大程度上消除因單節點故障而導致系統整體崩潰的隱患。此外，集成的負載均衡技術和容災備份機制能夠為信息系統提供長期可持續的訪問能力，保證了數據庫等關鍵應用和服務的安全穩定運行。

（5）信息安全防護能力部署更靈活。HCI提供了強大的計算和網絡虛擬化能力，這就為虛擬防火墻等信息安全防護組件的部署提供了良好的運行條件。配合專用管理系統，可在可視化界面對信息系統的任意位置部署信息安全防護組件，部署過程更加靈活。

3 基于超融合架構的產品檢測平臺設計

3.1 底層承載系統設計

圖3是一個產品檢測平臺的超融合系統集群，該產品檢測平臺采用了3臺超融合一體機作為整個平臺的底層硬件系統承載主體，為上層軟件系統提供其運行所必需的存儲、計算和網絡數據交互等基本條件，再通過交換機進行聚合，形成超融合系統集群。該集群是一個標準的最小超融合集群系統，能夠滿足基本產品檢測工作的硬件資源需求。隨著業務規模的不斷擴展，后期可直接在集群系統中加入新的超融合工作節點，即可完成對集群系統的計算、網絡和存儲資源的線性橫向擴增，且該過程不會對上層業務和應用系統的運行產生任何影響。

圖3 底層承載系統

在網絡數據交互方面，得益于超融合系統集群提供的原生網絡虛擬化支持能力，集群系統內部的所有虛擬服務器和虛擬主機之間均通過虛擬交換機、虛擬路由器等虛擬網絡組件建立虛擬以太網連接，此過程只需在檢測平臺的網絡部署界面繪制網絡拓撲圖即可完成部署。集群系統與外部設備、網絡的數據交互采用可拓展接入點方式實現。檢測平臺初期對外開放了2個接入點，分別對應2個不同的邏輯域，它是被測設備（Device Under Test，DUT）接入檢測平臺的連接通道。若DUT需要多個邏輯域支持，可在檢測平臺上動態增減接入點數量。此外，每個接入點還可通過下掛交換機實現物理端口的橫向擴展，以滿足批量化產品測試的要求。

3.2 測試資源池的構造

測試資源池是產品檢測平臺執行檢測環境部署和產品檢測過程中用到的一切工具、應用和數據資源的集合。現有性能和安全性測試儀表等硬件資源通過與超融合集群耦合，并在檢測平臺的資源池管理系統中添加對應的控制協議和指令集，即可完成該設備的虛擬化映射，成為構成測試資源池的一個獨立元素。現有Web應用系統、漏洞靶機集群、測試套件等軟件資源以虛擬機為載體，一個虛擬機作為一個獨立元素，可承載了一個或多個資源。

所有元素由檢測平臺的資源管理系統統一管理，測試人員在搭建測試環境或執行測試任務時，可根據需要自由調用每個元素，且一個元素可被多個測試人員同時調用，彼此之間互不干擾。此外，為防止元素被非法修改或破環，測試資源池針對每個元素建立了快照動態恢復機制，每個元素被釋放后，將自動恢復至初始狀態。

3.3 操作界面的設計

檢測平臺的網絡部署操作界面為測試人員執行測試資源調度和虛擬檢測環境部署提供入口，其界面布局如圖4所示。

圖4 超融合檢測平臺的網絡部署操作界面布局

界面左側為測試資源池，里面的每個控件對應一個元素；中間區域為檢測環境部署區，測試人員只需通過鼠標拖拽所需的控件，并繪制檢測環境的網絡拓撲即可完成虛擬檢測環境的部署；界面右側為元素的屬性配置面板，檢測環境部署區中每個元素的屬性根據其類型不同而有所差異，但基本要素（如IP、協議和端口等）相同。測試人員通過對屬性的配置，保證了檢測環境中各元素間的網絡連通性。

此外，虛擬檢測環境可被保存為模板，在執行產品檢測時，只需調用標準檢測環境模板即可完成檢測環境的自動化部署，從而減少了搭建檢測環境的勞動投入，保證了檢測環境和檢測流程的標準化。

3.4 實驗網3N+網絡結構設計

產品檢測平臺采用了以功能屬性為導向的網絡結構設計理念，整體上將實驗網自上而下劃分為管理網（Management Network，MN）、資源網（Source Network，SN）和測試網（Testing Network，TN）3層，并對測試網賦予了多個子網域彈性擴展的能力，形成了以3層主網絡域為主體，測試網多子網域彈性擴展的3N+網絡結構布局，如圖5所示。

圖5 3N+網絡結構

（1）管理網位于3N+網絡結構的最上層，是超融合集群和測試資源實現遠程管理、配置和調度的主干網。管理網配置了本地域名系統（DNS）和動態主機配置協議（DHCP）服務，并為每個管理站點分配了唯一域名。各管理站點由統一身份認證系統接管，測試人員通過身份認證后可直接接入對應的管理系統，執行系統和資源的管理調度。

（2）資源網是測試資源池對外提供數據、功能和服務的主干網，通常與DUT的業務接口連接，用于接收和訪問檢測平臺提供的測試報文、攻擊流量、辦公自動化（OA）服務等測試資源。基于測試網可實現測試資源的多節點遠程并行訪問，充分提高了測試資源的利用率。

（3）測試網能夠為DUT提供模擬實際應用場景中存在的不同邏輯域、快速構建多子網檢測環境的基礎網絡條件，可根據實際需要，利用虛擬局域網（VLAN）和VLAN隔離等技術將其劃分為多個邏輯子網域。DUT只需接入相應的子網域，并調用對應的虛擬檢測環境拓撲，即可快速完成檢測環境部署。

3.5 容災備份架構設計

在容災備份層面，檢測平臺基于HCI原生的備份機制，結合現有的備份手段，形成了三級容災備份體系，如圖6所示。

圖6 超融合檢測平臺的三級容災備份體系

第一級是利用HCI原生支持的本地快照備份機制實現集群內備份，可以根據業務重要性，配置定時自動快照備份策略，保證某一虛擬機在發生異常時能夠快速恢復。

第二級是利用Veeam等一體化災備系統進行本地集群外備份，此過程可實現對虛擬機的輸入／輸出（I/O）級實時備份，當超融合集群出現異常導致整個系統崩潰時，該機制能夠保證集群中虛擬機個體的數據完整性，并能夠基于集群外備份副本快速覆蓋本地集群的故障點，保證本地超融合集群能夠從異常狀態中及時恢復。

第三級是遠程集群級備份，即在獨立的容災機房中建立本地集群系統的實時遠程鏡像，當本地集群環境發生嚴重災難（如集群系統突然斷電等）導致集群系統完全失效時，能夠立即切換至遠程集群鏡像，保證檢測平臺不間斷運行。

上述三級容災備份體系由集群內部拓展至集群外部，再延伸至其他地理空間，形成了由中心向周邊擴散的放射狀災備架構，能夠在最大程度上保證檢測平臺的穩定性和可靠性。

4 產品檢測平臺的應用實踐

本節分別以串聯部署、旁路部署和點對點部署3類典型部署方式的產品為例，闡述在超融合檢測平臺上進行檢測環境快速部署和具體測試應用的過程。

4.1 串聯部署類產品檢測

防火墻、網絡入侵防御、安全網關等是典型的串聯部署類產品，這類產品的測試環境通常由管理端、內網和外網3個域組成。以防火墻檢測為例，管理端與管理主機連接，對防火墻進行安全策略配置和管理，內網域部署受保護的服務器，外網域向內網服務器發起訪問請求，防火墻串聯部署于內網和外網之間，對數據報文進行安全策略應答。

根據防火墻產品的測試環境特征，在超融合產品檢測平臺上快速創建檢測環境，具體過程是：首先，將防火墻的管理端物理接口接入MN網（記為M端），并配置通過DHCP方式從檢測平臺自動獲取管理地址；然后，將防火墻的內網域物理接口接入SN網，并在該物理接口上配置路由，建立與測試資源池（記為S端）的網絡連接；最后，將防火墻的外網域物理接口接入TN網，并在檢測平臺上生成一臺虛擬終端（記為C端），作為向服務端發起訪問請求的主體。通過以上步驟即可完成防火墻產品檢測環境的部署，如圖7所示。

圖7 串聯部署類產品在超融合檢測平臺上的測試過程

將完成部署的檢測環境保存為模板，下次測試時直接引用該模板即可完成測試環境的快速部署，實現檢測環境的即時復用。當需要執行批量測試時，只需將DUT批量接入檢測平臺，并將內網和外網域劃入不同的VLAN即可。

4.2 旁路部署類產品檢測

入侵檢測系統（Intrusion Detection System，IDS）、網絡審計等是網絡旁路部署類產品。以IDS為例，這類產品的測試環境通常包括管理端和偵聽端兩部分。管理端與管理主機連接，對IDS進行安全策略配置和管理；偵聽端通常以旁路方式連接至偵聽目標網絡鏈路一側，對網絡流量進行捕獲和分析。

在超融合產品檢測平臺上開展測試時，首先獲取管理地址（方法同4.1），然后將偵聽端接入SN網內網絡分流（Network Packets Broker，NPB）系統即可完成檢測環境部署。攻擊行為由網絡攻擊模擬儀表產生，并通過NPB系統進行多路復制后分發至一個或多個IDS，一方面可實現對旁路部署類產品的批量化測試；另一方面，由于所有IDS捕獲的攻擊流量完全一致，保證了檢測環境和過程的一致性，如圖8所示。

圖8 旁路部署類產品在超融合產品檢測平臺上的測試過程

4.3 點對點部署類產品檢測

點對點部署類產品一般為基于B/S或C/S架構的應用類產品，此類產品大多為軟件形態，產品大多由安裝在主機中執行產品防護功能的客戶端和安裝在服務器上、對客戶端進行配置管理的服務端2部分。

在超融合產品檢測平臺上開展測試時，可根據產品適配的操作系統創建對應的客戶端虛擬主機和服務端虛擬服務器，并直接在網絡部署操作界面繪制虛擬網絡連接線路即可完成檢測環境部署。根據需要，還可以創建一對多、多對一和多對多的測試環境，尤其在多平臺兼容性測試時，其優勢更為明顯，如圖9所示。

圖9 點對點部署類產品在超融合產品檢測平臺上的測試過程

完成測試后，關閉虛擬終端和虛擬服務器可自動回滾至初始狀態，為下個產品的安裝部署提供一個純凈的運行環境。

5 結語

產品檢測平臺是開展產品檢測工作的基礎設施，其對測試資源和環境的整合分發與管理調度能力直接決定了檢測工作的執行效率和測試流程的標準化程度，同時也是產品檢測過程信息化和自動化水平的直接體現。

本文以HCI為基礎框架，提出了一種產品檢測平臺建設方案。該平臺以HCI為底層驅動，結合存儲虛擬化、網絡虛擬化和計算虛擬化技術，實現了對測試資源的集中管理和按需分配，以及對測試環境的可視化編輯和自動化部署，能夠為測試人員提供標準化測試流程和批量化測試能力支持，具有系統部署便捷、資源管理高效、建設成本低廉、系統延展靈活、系統穩定性和數據安全性高等特點。

此外，在實際應用中，受產業生態和自主硬件虛擬化運算性能等客觀條件的制約，該平臺尚存在一些不足，如對基于ARM、Mips等平臺開發的應用系統的兼容性較差，對部分信創產品的測試支持不夠全面等。

接下來，我們將緊跟產品和技術發展趨勢，不斷優化產品檢測平臺對各類產品檢測工作的支持能力。一方面，通過自動化測試工具的研制和應用，進一步擴充測試資源池，提高檢測平臺的整體自動化測試水平；另一方面，通過融合私有云計算和云存儲技術，進一步優化測試資源的調度邏輯，提升測試過程的執行效率。同時，還要重點改進對自主軟硬件平臺和信創產品的支持能力，為建設管理科學、支撐面廣、自動化程度高的產品標準化測試體系提供基礎支撐。

（原載于《保密科學技術》雜志2023年4月刊）