光纖反射內(nèi)存網(wǎng)關(guān)鍵技術(shù)

00001. 高實時性低開銷網(wǎng)絡(luò)通訊協(xié)議的設(shè)計與實現(xiàn)

目前主流公開的網(wǎng)絡(luò)協(xié)議，如以太網(wǎng)所使用的TCP/IP協(xié)議雖然功能完備、運行穩(wěn)定，但其傳輸機制和服務(wù)方式都比較復(fù)雜冗余，實時性較差，不適合于多實時性有較高要求的領(lǐng)域。

光纖反射內(nèi)存網(wǎng)通訊協(xié)議要在保證高實時性和穩(wěn)定性前提下，降低協(xié)議的復(fù)雜度。在保證網(wǎng)絡(luò)基本服務(wù)和傳輸穩(wěn)定性的前提下，盡量提高系統(tǒng)的傳輸性能、實時性及相應(yīng)速度。同時要有完整的錯誤處理機制，在錯誤發(fā)生的情況下保證錯誤不蔓延，有良好的自愈能力。

00001. 邊收邊轉(zhuǎn)的數(shù)據(jù)轉(zhuǎn)發(fā)模式實現(xiàn)低延時數(shù)據(jù)轉(zhuǎn)發(fā)

在協(xié)議控制器設(shè)計上采用RFMMA(Reflective Memory Multiple Access)基于反射內(nèi)存的多模式存取技術(shù)，支持數(shù)據(jù)、IO、命令、中斷等多種數(shù)據(jù)傳輸模式。

在協(xié)議實現(xiàn)上，即協(xié)議控制器的設(shè)計上，要采取低延時的數(shù)據(jù)轉(zhuǎn)發(fā)策略，將轉(zhuǎn)發(fā)延遲控制在1us以內(nèi)，這個對協(xié)議控制器實現(xiàn)提出了很高的挑戰(zhàn)。主要采用此一下方法：1）采用邊收邊轉(zhuǎn)發(fā)的數(shù)據(jù)傳輸模式，不采用存儲轉(zhuǎn)發(fā)模式，減小數(shù)據(jù)在單個節(jié)點上的轉(zhuǎn)發(fā)延遲，提高系統(tǒng)實時性。2）在協(xié)議設(shè)計時，優(yōu)化設(shè)計，壓縮信息頭的長度，并將重要信息都放在信息頭前面，以方便轉(zhuǎn)發(fā)時進行快速判斷。3）設(shè)計了完備的數(shù)據(jù)幀回收機制，通過節(jié)點ID、傳輸計數(shù)器等方式保證了廢數(shù)據(jù)幀的可靠回收。同時，采用CRC校驗碼校驗數(shù)據(jù)的正確性。

一般的網(wǎng)絡(luò)接口設(shè)備在轉(zhuǎn)發(fā)數(shù)據(jù)是都采用存儲轉(zhuǎn)發(fā)的方式，轉(zhuǎn)發(fā)延遲過大，導(dǎo)致整個系統(tǒng)的延時加大，實時性降低。采用即時收/轉(zhuǎn)（邊收邊轉(zhuǎn)發(fā)）模式，在接收數(shù)據(jù)的同時完成處理和轉(zhuǎn)發(fā)，代替常用的存儲轉(zhuǎn)發(fā)模式，只需4個時鐘周期便可完成判斷&轉(zhuǎn)發(fā)，典型數(shù)據(jù)幀是（長度256Byte）轉(zhuǎn)發(fā)延遲比存儲轉(zhuǎn)發(fā)縮短了30倍以上。實測延時小于0.6us。

00001. 光纖HUB的換網(wǎng)動態(tài)重構(gòu)及數(shù)據(jù)監(jiān)測技術(shù)

利用高速開關(guān)陣列及FPGA集成的高速收發(fā)器，構(gòu)建一個開關(guān)陣列，通過開關(guān)陣列的切換，形成內(nèi)外雙環(huán)的數(shù)據(jù)傳輸通路，是光纖網(wǎng)絡(luò)數(shù)據(jù)在邏輯上形成一個環(huán)形傳輸方式，并通過FPGA收發(fā)器實時采集數(shù)據(jù)實現(xiàn)網(wǎng)絡(luò)狀態(tài)的監(jiān)控及故障節(jié)點的自診斷自隔離。

00001. 高速電路設(shè)計及仿真驗證技術(shù)

光纖反射內(nèi)存網(wǎng)絡(luò)波特率2.5Gbps，電信號的這個數(shù)據(jù)通訊速率下傳輸，屬于高速電路設(shè)計。為保證數(shù)據(jù)可靠傳輸、保證系統(tǒng)的電磁兼容性、信號完整性，對電路板PCB設(shè)計提出了較高的要求。為保證設(shè)計質(zhì)量，采用了Cadence公司的SigXplorer軟件進行電路仿真，對仿真結(jié)果進行多輪迭代來改進設(shè)計。

一、光纖網(wǎng)簡介

在半實物仿真系統(tǒng)等實時系統(tǒng)中，要求系統(tǒng)各部分之間的數(shù)據(jù)傳輸具有很高的實時性，而傳統(tǒng)的網(wǎng)絡(luò)技術(shù)，如以太網(wǎng)、FDDI等在實時應(yīng)用中存在以下缺點：（1）數(shù)據(jù)傳輸速率不高；（2）數(shù)據(jù)傳輸實時性差，傳輸延遲較大且延遲具有不可預(yù)測性；（3）網(wǎng)絡(luò)通信需要借助多種網(wǎng)絡(luò)協(xié)議來完成，通訊效率較低。

實時光纖反射內(nèi)存網(wǎng)（Reflective memory network簡稱實時光纖網(wǎng)）是一種基于高速光纖網(wǎng)絡(luò)共享存儲技術(shù)的實時網(wǎng)絡(luò)。與傳統(tǒng)的聯(lián)網(wǎng)技術(shù)相比，它除了具有嚴格的傳輸確定性和可預(yù)測性外，還具有數(shù)據(jù)傳輸速度高、通信協(xié)議簡單、宿主機負載輕、軟硬件平臺適應(yīng)性強等特點。

實時光纖反射內(nèi)存網(wǎng)（簡稱實時光纖網(wǎng)）由插在計算機內(nèi)的光纖接口板通過光纖線連接在一起，形成一個環(huán)網(wǎng)（如圖1），每個節(jié)點的光纖接口板的板載存儲器都有其他節(jié)點的共享數(shù)據(jù)拷貝，在邏輯上全網(wǎng)的所有節(jié)點共享同一塊存儲器，數(shù)據(jù)一點寫入，多點同時更新，通過這種方式實現(xiàn)了數(shù)據(jù)的高速傳輸與共享。

二、實時網(wǎng)絡(luò)需求

為提升計算能力，人們自然地想到研發(fā)性能更強的計算機，如天河系列等超級計算機應(yīng)運而生，但超級計算機研制周期長、成本大、應(yīng)用領(lǐng)域受限。為此，提出了集群系統(tǒng)概念，計算機集群系統(tǒng)是通過網(wǎng)絡(luò)將PC機或工作站連接起來組成高性能計算系統(tǒng)。集群系統(tǒng)將一個任務(wù)并行在多臺計算機上執(zhí)行，組成一個實時系統(tǒng)。

在實時系統(tǒng)中，系統(tǒng)最終結(jié)果的正確性不僅依賴于每一步計算得到的邏輯結(jié)果，而且依賴于得到結(jié)果的時刻，任務(wù)的完成時間是實時系統(tǒng)的決定性特征。根據(jù)實時性能的要求程度，實時系統(tǒng)可認為兩類，即軟實時和硬實時系統(tǒng)。對于軟實時系統(tǒng)，要求事件相應(yīng)是實時的，但并不是嚴格強制的。但是，對于硬實時系統(tǒng)來講，每個任務(wù)都有一個處理截止事件，任務(wù)必須在規(guī)定的時間內(nèi)完成，否則會影響全局任務(wù)的完成，給系統(tǒng)帶來不希望的破壞或者造成不可恢復(fù)的災(zāi)難性后果。目前許多實時系統(tǒng)都采用硬實時系統(tǒng)，因為具有更強的實時性能。實時系統(tǒng)的應(yīng)用需要實時互聯(lián)，構(gòu)建實時網(wǎng)絡(luò)，完成數(shù)據(jù)在網(wǎng)絡(luò)節(jié)點間的實時傳輸。

實時網(wǎng)絡(luò)必須具備高速、可靠、可預(yù)測三個特點，最重要的是通信的可預(yù)測性，可預(yù)測性是指實時網(wǎng)絡(luò)中各個節(jié)點之間數(shù)據(jù)傳輸?shù)臅r間是確定的。隨著實時網(wǎng)絡(luò)應(yīng)用領(lǐng)域的不斷擴展，目前已不僅僅局限于計算機集群系統(tǒng)的互聯(lián)，而是廣泛地應(yīng)用在各種具有實時需求的互聯(lián)系統(tǒng)中，如半實物仿真、高速數(shù)據(jù)獲取等。

實時網(wǎng)絡(luò)發(fā)展過程中，出現(xiàn)過兩種設(shè)計思路：基于單一總線的多CPU共享全局內(nèi)存和基于網(wǎng)絡(luò)的分布式內(nèi)存：

相比基于單一總線的多CPU共享全局內(nèi)存系統(tǒng)，在基于網(wǎng)絡(luò)的分布式內(nèi)存體系中每個節(jié)點只訪問自己的本地內(nèi)存，不存在內(nèi)存占有沖突，由于這種方式能夠避免大量的總線仲裁控制時間而成為實時網(wǎng)絡(luò)的主要設(shè)計方式。

實時網(wǎng)絡(luò)要保證高速、可靠、可預(yù)測這三大指標(biāo)，但千兆以太網(wǎng)、光纖通道（Fiber Channel，FC）協(xié)議等，在可預(yù)測性上很差，首先是因為通過設(shè)備驅(qū)動和軟件網(wǎng)絡(luò)協(xié)議的工作模式增加了額外的不確定開銷，其次是同樣存在共享沖突和碰撞的問題（如千兆以太網(wǎng)GBE中采用CSMA/CD載波監(jiān)聽多路訪問/沖突檢測機制、FC協(xié)議采用令牌環(huán)仲裁等）進一步增加了傳輸時間的不確定性。光纖反射內(nèi)存網(wǎng)很好的解決了上述問題。

反射內(nèi)存網(wǎng)是基于網(wǎng)絡(luò)的分布式內(nèi)存硬實時網(wǎng)絡(luò)的一種設(shè)計思想，特點：1）反射內(nèi)存網(wǎng)硬件實現(xiàn)分布式RAM之間數(shù)據(jù)的傳輸、共享，整個過程具有很低的實現(xiàn)延遲；2）反射內(nèi)存網(wǎng)依靠硬件實現(xiàn)、不需要復(fù)雜的網(wǎng)絡(luò)協(xié)議控制，能夠在相同的傳輸帶寬下達到更高的有效速率；3）反射內(nèi)存網(wǎng)對數(shù)據(jù)的各種處理是通過硬件電路實現(xiàn)，在固定的時鐘頻率下周期工作，沒有不確定的時間開銷，確保數(shù)據(jù)處理的可預(yù)測性。

三、光纖反射內(nèi)存網(wǎng)與以太網(wǎng)比較

1）實時性

反射內(nèi)存（RFM）是基于環(huán)狀/星狀的，高速復(fù)制的共享內(nèi)存網(wǎng)絡(luò)。它支持不同總線結(jié)構(gòu)的多計算機系統(tǒng)，并且可以使用不同操作系統(tǒng)來共享高速的、穩(wěn)定速率的實時數(shù)據(jù)

基于反射內(nèi)存構(gòu)建的實時網(wǎng)絡(luò)是一種強實時高帶寬局域網(wǎng)技術(shù)，在互連的計算機間提供高效的數(shù)據(jù)傳輸。反射內(nèi)存網(wǎng)在所有互連的節(jié)點中虛擬出一段全局共享的網(wǎng)絡(luò)內(nèi)存，在分布系統(tǒng)中實現(xiàn)內(nèi)存至內(nèi)存的通信，因此應(yīng)用程序沒有軟件開銷。每臺結(jié)點機上插一塊反射內(nèi)存卡，卡上帶有雙端口內(nèi)存。每個節(jié)點機的各層應(yīng)用軟件可以直接讀寫反射內(nèi)存卡上內(nèi)存。