概覽

現代測試和控制系統正在變得更大、更復雜而且更精密。大部分這樣的精密復雜儀器要應對新的挑戰，諸如更快速度的要求、更多通道數據采集和生成的要求，以及在線數據處理等要求。新的測試、測量，以及控制系統在必須應對這些要求的同時，實現低成本、可擴展性、供應商互操作性，以及靈活性等。這些內容的核心在于，工程師們必須從根本上以較低的延遲，傳輸和處理大量的數據。

2009年11月由PXI系統聯盟發布的PXI并行計算規范(PXImc)，嘗試通過使用低成本、現成可用的技術應對這些要求。這一規范定義了通過一個PCI Express非透明橋（non-transparent bridge，NTB），基于PCI或PCI Express 的接口將兩個或者更多智能系統進行連接的軟件和硬件要求 。PCI Express總線提供每秒千兆位級的實際數據吞吐量和幾微秒的延遲，因此，它非常適合于應對這些數據傳輸的應用需求。

本白皮書探索標準中所表述的PXImc的技術細節和具體使用案例。

理解技術底層

圖1所示的是一個典型的基于PCI Express的系統拓撲結構。一個單一主機總線接口，或者根聯合體，是用于計算系統與PCI板卡進行通訊的接口。在系統中，計算系統通過這個根聯合體向所有的PCI Express主板分配所需的資源。

圖片1.PCI Express系統拓撲結構

如前面提到的，通過將PCI 或PCI Express 用作物理通訊層，PXImc提供了一個高帶寬和低延遲的通訊模式。因為在兩個PCI領域之間有諸如總線所有權和終端資源分配這樣的多種競爭，兩個各自擁有根聯合體的系統無法直接經由PCI或者PCI Express進行連接。

利用一個NTB，通過邏輯分隔兩個PCI域，同時提供一個用于將 一個PCI域內的某些PCI 處理 轉化另一個PCI域內的相應處理的機制，有助于解決這些問題。

圖片2所示解釋了這一個概念。系統A和B兩個在它們各自的域內都能完全控制資源的分配，同時NTB的存在不會影響任何一個系統的資源分配算法。

圖片2.通過使用一個非透明橋(NTB)的，兩個系統經由PCI Express連接在一起

NTB對來自于根聯合體的資源請求的響應類似于系統中其它的PCI終端——通過請求一定數量的物理地址空間來實現。系統BIOS將某一特定范圍的物理地址空間分配給NTB。當這一資源分配同時發生在系統A和B上時，NTB取得兩個PCI域內的資源。如圖3所示，系統A的PCI域內被NTB獲得的地址空間，將作為一個進入系統B的PCI域內的物理地址空間的窗口，系統B的PCI域內被取得的地址空間，將作為一個進入系統A的PCI域內的物理地址空間的窗口。

系統A和B內的資源分配完成后，NTB 以存儲器的機制在兩個系統之間傳送數據。這些機制包括諸如用于傳遞數據的箋寄存器、用于中斷申請的門鈴寄存器，以及通過NTB將大量的地址空間轉換為相反的地址空間。

圖片3.使用NTB的兩個PCI域間的通訊機制

NTB雖然不是新技術，但是行業內對于PCI架構間的通訊依然缺少標準方法。在把它們作為一個通訊通道之前，NTB解決方案需要自定義的硬件和軟件設計。

由PXI系統聯盟(PXISA)開發的PXI 并行計算(PXImc)規范定義了具體的硬件和軟件部件的要求，也因此為使用PCI或PCI Express的兩系統間的通訊提供了標準化的協議。從硬件的角度來看，某些問題已經得到了解決，從而允許兩個獨立的系統通過PCI或PCI Express直接進行通訊。從軟件的觀點來看，已經建立了一個通訊架構，從而允許任一系統偵測和配置各自的資源，實現與其它系統進行通訊。

預期的和實際測得的帶寬以及延遲性能

由于PXImc使用PCI Express作為物理通訊層，PXImc鏈路的性能取決于所使用的PCI Express接口的類型。表1列出了各種PCI Express鏈路的理論帶寬。

表格1.各種PCI Express鏈路的理論帶寬

通過對一個典型的PXImc鏈路與其它替代方式的性能比較，NI使用原型硬件和基本的軟件棧執行了一些初步的基準測試。為了做到這些基準測試，兩個分別配有NI PXIe-8133 PXI Express嵌入式控制器的NI PXIe-1082 PXI Express機箱，通過使用基于PCI Express的第一代x4原型PXImc硬件連接起來。使用這一配置，NI測得一個6 µs的單向延遲和670 MB/s的吞吐量。與千兆以太網相比，這些性能數字大概代表著十倍的帶寬提升和100倍的延遲減小。這就證實了：在建立高性能多計算機測試和控制系統時，PXImc是一個理想的接口。隨著PCI Express標準不斷的改進，PXImc鏈路的性能將會持續提高。

使用PXImc創建高性能多計算機測試和控制系統

三種類型的應用將會從PXImc中受益較大：1)混合高性能測試和測量系統，2)需要使用多個多核CPU完成分布式處理的應用，以及3)需要在一個系統中同時使用基于x86的 CPU作為協處理器的應用。

混合高性能測試和測量系統

由各種離散的子系統組成的復雜測量和控制系統（比如硬件在環仿真系統，HIL）能夠提供不同的功能。通常，這些子系統是建立在不同的硬件平臺上，使子系統的功能需求與硬件平臺性能達到較佳匹配。

PXImc規范允許這些建立在不同硬件平臺上的子系統，通過一個高帶寬、低延遲的PCI Express鏈路進行通信。這就使一個利用不同的硬件平臺的混合高性能測試和測量系統達到性能、靈活性以及成本的理想組合。

通過把PXImc作為系統間通信總線，與諸如以太網和反射內存等其它接口相比，這樣的系統能夠取得更短的測試時間或者更快的循環執行速率。這就使這些系統能夠更快的執行具體任，并更精確地模擬實際環境（以HIL系統為例）。

圖片4所示的是一個系統的典型結構。該例子中，主PXI 系統通過高吞吐量和低延遲的PXImc鏈路與次級PXI系統和高性能臺式儀器進行通訊，從而創建一個高性能的混合測試和測量系統。

圖片4.一個基于PXImc的高性能混合型測試和測量系統的結構示例

使用多核處理器完成分布式處理

在諸如信號情報(signals intelligence，SIGINT)和實時高性能計算(real-time high-performance computing， RTHPC)等要求實時或者在線數據處理的應用，通常需要密集數據處理能力，以追蹤數據流。這些應用必須有能力使用一個提供高帶寬和低延遲的通訊接口，在多個離散處理節點間分配處理任務。

對于一些分布式處理系統，現場可編程門陣列(field-programmable gate arrays ， FPGA)和數字信號處理器(digital signal processors， DSP)的使用能夠應對這些要求。但是，某些需要使用基于現有x86的軟件IP或者需要使用浮點方式替代定點方式執行計算的應用。對于這些情況，通過PXImc技術，可以使用較新的多核CPU 的PC做為外部計算節點，從而創建分布式處理系統。

這不僅要應對了上述提及的需求，同時提供了一個系統，與使用FPGA和定制DSP的系統相比具有更短的開發和調試時間。

圖片5所示的是一個可行的使用一個PXI Express系統和PXImc接口卡搭建的分布式計算系統的結構。

圖片5.基于一個PXI Express系統和PXImc接口卡的分布式處理系統的示例

在這個例子中，主控制器負責集結來自于各種I/O模塊的數據，并在隨后通過PXImc鏈路將數據分配到四個基于x86的計算節點。根據所需要的處理性能要求的不同，計算節點 可以是普通的PC機也可以是高端工作站。