試談高可靠分布式錯(cuò)計(jì)算機(jī)架構(gòu)的研究論文

　　1 確定性通信網(wǎng)絡(luò)的選用分析

　　對(duì)于分布式機(jī)載強(qiáng)實(shí)時(shí)高安全控制系統(tǒng)而言，節(jié)點(diǎn)間通信的實(shí)時(shí)性與確定性是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵。目前實(shí)時(shí)嵌入式計(jì)算機(jī)系統(tǒng)中普遍使用基于事件觸發(fā)的串行通信協(xié)議。大量研究表明：對(duì)高可靠性系統(tǒng)而言，基于時(shí)間觸發(fā)的總線網(wǎng)絡(luò)的解決方案更具優(yōu)勢(shì)。時(shí)間觸發(fā)架構(gòu)(Time-triggered Architecture，TTA)系統(tǒng)和事件觸發(fā)架構(gòu)(Even-triggered Architecture，ETA)系統(tǒng)的工作原理不同。前者的控制信號(hào)來源于時(shí)間進(jìn)程;后者的控制信號(hào)來源于事件的發(fā)生(如一次中斷)。時(shí)間觸發(fā)系統(tǒng)中使用的狀態(tài)信息來自規(guī)定時(shí)間內(nèi)的某個(gè)條件，如傳感器的值;而事件信息一般是在事件發(fā)生時(shí)激活中斷服務(wù)程序采取相應(yīng)的措施。

　　ETA系統(tǒng)與TTA系統(tǒng)之間的基本不同與控制信號(hào)源有關(guān)。在TTA系統(tǒng)中控制總是駐留在分布式計(jì)算機(jī)系統(tǒng)的內(nèi)部。TTA系統(tǒng)是一個(gè)物理上封閉的確定性系統(tǒng)。在ETA系統(tǒng)中，控制信號(hào)可能源自計(jì)算機(jī)內(nèi)部，也可能源自計(jì)算機(jī)系統(tǒng)外部的環(huán)境(如中斷機(jī)制轉(zhuǎn)發(fā)過來的)。不可預(yù)測(cè)的環(huán)境將因而導(dǎo)致計(jì)算機(jī)系統(tǒng)的不確定性的行為。

　　從2006年開始，奧地利維也納大學(xué)Kopet研究小組成立的了TTTech公司，開發(fā)和推廣TTA通信產(chǎn)品，TTEthernet網(wǎng)絡(luò)(TTE)是其最先進(jìn)的技術(shù)，TTTech公司對(duì)基于時(shí)間觸發(fā)以太網(wǎng)給出如下定義：

　　TTE=以太網(wǎng)+時(shí)鐘同步+時(shí)間觸發(fā)通信+速率受約傳輸+保證傳輸TTE通過一個(gè)內(nèi)在的、集中式的調(diào)度表控制它自己的活動(dòng)及外部環(huán)境之間的相互作用，而傳統(tǒng)以太網(wǎng)采用的ET(Event-Triggered事件觸發(fā))型網(wǎng)絡(luò)則受控于外界環(huán)境，并對(duì)外部事件的刺激做出響應(yīng)。

　　2 分布式計(jì)算機(jī)架構(gòu)設(shè)計(jì)

　　高可靠分布式容錯(cuò)計(jì)算機(jī)系統(tǒng)包括3個(gè)節(jié)點(diǎn)計(jì)算機(jī)，分布在3個(gè)結(jié)構(gòu)獨(dú)立的機(jī)箱內(nèi)，滿足不同的任務(wù)、不同的余度配置要求。系統(tǒng)整體結(jié)構(gòu)采用TTE總線基礎(chǔ)上的分布式架構(gòu)。系統(tǒng)采用3余度高完整計(jì)算架構(gòu)、保證系統(tǒng)在任意兩次故障后，能夠繼續(xù)完成關(guān)鍵任務(wù)。從物理結(jié)構(gòu)上，系統(tǒng)包括3個(gè)結(jié)構(gòu)獨(dú)立的節(jié)點(diǎn)，通過高速串行網(wǎng)絡(luò)互連，從邏輯結(jié)構(gòu)上，所有的模塊處于同一個(gè)網(wǎng)絡(luò)上，其中CPU模塊都是對(duì)等的，即每個(gè)CPU模塊都對(duì)系統(tǒng)的計(jì)算、余度管理等功能負(fù)責(zé)，系統(tǒng)中只要保留2個(gè)CPU模塊，1個(gè)RDC模塊，即可保證系統(tǒng)的工作。每個(gè)節(jié)點(diǎn)內(nèi)RDC自動(dòng)完成(即RDC發(fā)生可自檢的故障，也可通過接收網(wǎng)絡(luò)上CPU命令，由RDC完成)。

　　系統(tǒng)工作時(shí)3個(gè)容錯(cuò)計(jì)算機(jī)節(jié)點(diǎn)同時(shí)工作，通過TTE數(shù)據(jù)總線交換信息，節(jié)點(diǎn)計(jì)算機(jī)對(duì)信號(hào)源的信息進(jìn)行交叉比較，再將信息進(jìn)行節(jié)點(diǎn)間的交叉表決，最終表決值參加控制率計(jì)算。任何一個(gè)處理器故障均會(huì)由同一節(jié)點(diǎn)內(nèi)的另一處理器隔離，任何一個(gè)節(jié)點(diǎn)故障(兩次故障)，該節(jié)點(diǎn)上的任務(wù)將有其它節(jié)點(diǎn)代替執(zhí)行。系統(tǒng)節(jié)點(diǎn)計(jì)算機(jī)之間采用松耦合的同步工作，節(jié)點(diǎn)計(jì)算機(jī)間的同步和交叉信息交換通過通信分區(qū)來實(shí)現(xiàn)。系統(tǒng)容錯(cuò)通過采用備份功能分區(qū)的切換和資源的重新分配完成。系統(tǒng)軟件設(shè)計(jì)包括3個(gè)部分：操作系統(tǒng)、余度管理功能包以及應(yīng)用軟件。

　　3 成員一致性保證技術(shù)

　　飛行器管理計(jì)算機(jī)實(shí)現(xiàn)對(duì)多個(gè)任務(wù)的功能綜合，滿足不同安全級(jí)別、不同余度配置任務(wù)共享平臺(tái)的系統(tǒng)要求。為保證各功能在共享硬件上運(yùn)行的安全性及隔離性要求，系統(tǒng)需要設(shè)計(jì)管理中間件來實(shí)現(xiàn)系統(tǒng)成員一致性保證協(xié)議。成員一致性保證是實(shí)現(xiàn)由集中式容錯(cuò)向分布式容錯(cuò)跨域的關(guān)鍵。成員一致性保證技術(shù)包括：一致性決策算法、隱含確認(rèn)算法。

　　飛行器管理計(jì)算機(jī)系統(tǒng)的每一節(jié)點(diǎn)機(jī)上都設(shè)置一個(gè)任務(wù)成員表單。表單中會(huì)記錄所有正常運(yùn)行的分區(qū)任務(wù)。每一個(gè)節(jié)點(diǎn)機(jī)在獲取到信息時(shí)都會(huì)依據(jù)是否接收成功標(biāo)志更新本地的任務(wù)成員表單。每次在信息傳遞的過程中，接收一方都要檢查隱藏或包含CRC校驗(yàn)碼的發(fā)送方的任務(wù)成員表單。因?yàn)樗�有�?jié)點(diǎn)機(jī)都嚴(yán)格按照時(shí)間觸發(fā)周期的調(diào)度方式收發(fā)信息，每一節(jié)點(diǎn)機(jī)都會(huì)在一個(gè)時(shí)間觸發(fā)周期內(nèi)檢查所有成員的表單。當(dāng)與接收方有交聯(lián)的所有任務(wù)成員表單都不同時(shí)，發(fā)送方節(jié)點(diǎn)機(jī)被認(rèn)為是有誤的。這種策略就通過節(jié)點(diǎn)機(jī)間的相互確認(rèn)保證了系統(tǒng)內(nèi)所有節(jié)點(diǎn)機(jī)的一致性。整個(gè)成員一致協(xié)議設(shè)計(jì)包含兩部分：第一部分是隱含確認(rèn)機(jī)制與一致性表決機(jī)制。以下是兩個(gè)算法的實(shí)現(xiàn)原理。一致性表決算法：每個(gè)節(jié)點(diǎn)機(jī)維護(hù)一張本地的成員任務(wù)成員表單。當(dāng)某一個(gè)節(jié)點(diǎn)機(jī)準(zhǔn)備與其它節(jié)點(diǎn)機(jī)交換信息數(shù)據(jù)時(shí)，將自身任務(wù)執(zhí)行情況添加到本地成員表單中。當(dāng)接收方收到正確的信息數(shù)據(jù)時(shí)，它將發(fā)送方節(jié)點(diǎn)機(jī)加入到本地成員表單中。

　　節(jié)點(diǎn)機(jī)依據(jù)以下3個(gè)條件判斷信息數(shù)據(jù)傳輸正確與否：信息傳輸須發(fā)生在預(yù)定的時(shí)間偏差內(nèi);傳輸活動(dòng)成功完成;在將發(fā)送端加入接收端的成員表單后，雙方的成員表單內(nèi)容須一致。接收端檢查校驗(yàn)發(fā)送端傳輸數(shù)據(jù)，如發(fā)現(xiàn)錯(cuò)誤，發(fā)送端節(jié)點(diǎn)機(jī)將被接收端節(jié)點(diǎn)機(jī)從其成員表單內(nèi)刪除。數(shù)據(jù)若正確，節(jié)點(diǎn)機(jī)則會(huì)將發(fā)送端節(jié)點(diǎn)機(jī)加入成員表單并使確認(rèn)計(jì)數(shù)器累加，若接收失敗時(shí)，接收端節(jié)點(diǎn)機(jī)將從成員表單中刪除發(fā)送端節(jié)點(diǎn)機(jī)并使失敗計(jì)數(shù)器累加。接收端節(jié)點(diǎn)機(jī)可判斷出成員表單是否匹配、數(shù)據(jù)是否完整以及是否成功數(shù)據(jù)傳輸?shù)惹闆r(空幀)。當(dāng)出現(xiàn)空幀時(shí)，接收端節(jié)點(diǎn)機(jī)不累加任何計(jì)數(shù)器，但將本應(yīng)出現(xiàn)在該時(shí)段的發(fā)送數(shù)據(jù)的節(jié)點(diǎn)機(jī)從成員表單中刪除。在某節(jié)點(diǎn)機(jī)發(fā)送數(shù)據(jù)前，要執(zhí)行成員表單決策算法。節(jié)點(diǎn)機(jī)先檢查在上次發(fā)送后接收的錯(cuò)誤幀是否多于正確幀，即比較失敗計(jì)數(shù)器是否小于確認(rèn)計(jì)數(shù)器。若結(jié)果為真，節(jié)點(diǎn)機(jī)將清零兩個(gè)計(jì)數(shù)器并將數(shù)據(jù)送出;反之，節(jié)點(diǎn)機(jī)將上報(bào)一個(gè)錯(cuò)誤給上級(jí)應(yīng)用層，然后進(jìn)入故障靜默狀態(tài)。隱含確認(rèn)算法的主要內(nèi)容是診斷出節(jié)點(diǎn)機(jī)的故障并將結(jié)果通知其它所有非故障節(jié)點(diǎn)機(jī)。具體可描述為如下過程：在時(shí)間段t的廣播者p，發(fā)送消息，然后檢測(cè)下一時(shí)間段的非故障廣播者q的成員表單，如果p 包含在q 的成員表單中，并且表單中的其它成員均相同，則q 可以推出自己信息廣播成功。否則，可能的原因是p 發(fā)送故障或q 接收故障，p 須等待另一非故障廣播者r，如果q的成員表單中包含p，但不含q，p 和q表中的其它成員內(nèi)容相同，說明p 消息發(fā)送成功，則q接收故障。若p 不在r 的成員表單中，但q在r 的成員表單中，q和q 表中的其它成員內(nèi)容相同，則推斷p 發(fā)送故障。此時(shí)，p 自己將移出成員表單，進(jìn)入故障靜默狀態(tài)。若節(jié)點(diǎn)機(jī)在其下一個(gè)時(shí)間觸發(fā)周期前還未完成隱含確認(rèn)算法，則該節(jié)點(diǎn)機(jī)將會(huì)因?yàn)闆Q策算法而被動(dòng)進(jìn)入故障靜默狀態(tài)。

　　4 同步技術(shù)

　　高精度時(shí)間同步技術(shù)是實(shí)現(xiàn)TTA架構(gòu)的分布式計(jì)算機(jī)系統(tǒng)的關(guān)鍵。高可靠分布式計(jì)算機(jī)的多數(shù)表決策略需要同步技術(shù)消除異步度，節(jié)點(diǎn)機(jī)內(nèi)部?jī)蓚�(gè)CPU 模塊之間，以及CPU模塊與RDC之間也需要同步技術(shù)協(xié)調(diào)一致。另外，綜合在CPU模塊上的不同分區(qū)應(yīng)用任務(wù)，對(duì)實(shí)時(shí)性、確定性以及部件協(xié)調(diào)性均有要求，因此分區(qū)間的同步技術(shù)也是不可回避的重要內(nèi)容。

　　節(jié)點(diǎn)同步技術(shù)。系統(tǒng)中所有節(jié)點(diǎn)計(jì)算機(jī)使用兩步同步方法：

　　1)“對(duì)齊后調(diào)度切換”;

　　2)“周期重新同步”對(duì)節(jié)點(diǎn)計(jì)算機(jī)的本地時(shí)鐘與通信控制器的時(shí)鐘進(jìn)行校正對(duì)齊，從而實(shí)現(xiàn)節(jié)點(diǎn)時(shí)間同步。該方法能夠?qū)崿F(xiàn)節(jié)點(diǎn)計(jì)算機(jī)與網(wǎng)絡(luò)時(shí)鐘的直接同步，從而意味著系統(tǒng)中各節(jié)點(diǎn)的間接同步。

　　同步的主要功能是維持本地節(jié)點(diǎn)機(jī)與其它有效節(jié)點(diǎn)機(jī)的同步運(yùn)行。同步是為了消除不同節(jié)點(diǎn)之間的運(yùn)行周期的異步度，在同一時(shí)間運(yùn)行相同的幀任務(wù)，保證CCDL的時(shí)間一致性。同步是系統(tǒng)分區(qū)的最高優(yōu)先級(jí)任務(wù)，在同步期間需要停止時(shí)間計(jì)數(shù)，并在同步完成后從零時(shí)間開始新一幀的時(shí)間周期。消息時(shí)間同步技術(shù)。除了節(jié)點(diǎn)同步技術(shù)，還需實(shí)現(xiàn)通信網(wǎng)__

　　絡(luò)底層時(shí)間同步，建立分布式網(wǎng)絡(luò)統(tǒng)一的時(shí)間基準(zhǔn)對(duì)系統(tǒng)至關(guān)重要。網(wǎng)絡(luò)時(shí)間協(xié)議是通過軟件的方法提供了一種在系統(tǒng)互連網(wǎng)絡(luò)上實(shí)現(xiàn)時(shí)間同步和協(xié)調(diào)的一種機(jī)制。如在以太網(wǎng)上采用的網(wǎng)絡(luò)時(shí)間協(xié)議、簡(jiǎn)單網(wǎng)絡(luò)時(shí)間協(xié)議和精密時(shí)間協(xié)議等。傳統(tǒng)的網(wǎng)絡(luò)時(shí)間同步方法主要存在以下問題：

　　1)采用B/S架構(gòu)，時(shí)間服務(wù)器故障會(huì)導(dǎo)致全局故障，系統(tǒng)容錯(cuò)性能差。

　　2)采用純軟件算法的同步校正方法，由于網(wǎng)絡(luò)固有的傳輸時(shí)延不確定性，處理器性能差異導(dǎo)致軟件時(shí)間同步的精度不高。

　　為解決上述問題，國(guó)外主要采用以下新方法來改進(jìn)分布式系統(tǒng)中網(wǎng)絡(luò)時(shí)間同步：

　　1)采用軟硬件結(jié)合的方法，在現(xiàn)有網(wǎng)絡(luò)的基礎(chǔ)上適度增加硬件支持，實(shí)現(xiàn)軟硬件混合的時(shí)間同步，如新頒布的IEE1588協(xié)議推薦方法，同步提升同步處理的實(shí)時(shí)性提高系統(tǒng)時(shí)間同步精度。

　　2)提高網(wǎng)絡(luò)時(shí)間消息傳輸?shù)膬?yōu)先級(jí)、減少傳輸抖動(dòng)、提升同步的穩(wěn)定性。

　　3)優(yōu)化同步算法，采用先進(jìn)的表決、選舉算法、降低單時(shí)間服務(wù)器對(duì)系統(tǒng)全局時(shí)鐘的影響，提升系統(tǒng)同步的魯棒性。消息時(shí)間同步方法是采用上述先進(jìn)理念開發(fā)出的一種新型容錯(cuò)的高精度時(shí)間同步解決方案，屬于軟硬件相結(jié)合的方法，全局時(shí)鐘同步包括同步流程、集群檢測(cè)與處理、多同步域/多優(yōu)先級(jí)網(wǎng)絡(luò)時(shí)鐘同步等內(nèi)容。時(shí)間同步流程分為兩步。首先，同步控制器向同步集中器傳輸協(xié)議控制幀(protocol control frame，PCF)。PCF幀并非在任何時(shí)間都可以發(fā)送，是在本地時(shí)鐘指示到達(dá)一定的時(shí)間后，才會(huì)發(fā)送PCF幀。同步控制器的本地時(shí)鐘與PCF幀有關(guān)系，如發(fā)送時(shí)間。當(dāng)PCF幀送達(dá)集中控制器，PCF幀會(huì)記錄在該傳播過程中的延遲情況，包括傳播延遲、動(dòng)態(tài)發(fā)送延遲以及動(dòng)態(tài)接收延遲等。其次，同步集中器接收到與之連接的各鏈路上的不同源PCF幀后，經(jīng)過時(shí)序保持算法與集中算法獲得一個(gè)新PCF幀，并將該幀發(fā)向同步客戶與同步控制器。集中控制器的作用類似一個(gè)仲裁機(jī)構(gòu)，依據(jù)同步控制器發(fā)送的PCF幀，通過集中算法與時(shí)序保持算法，表決計(jì)算出一個(gè)都認(rèn)可的時(shí)鐘，然后把該信息送回同步控制器及同步客戶代理，經(jīng)過同步控制器與同步客戶代理處理后就可實(shí)現(xiàn)同步了，直至實(shí)現(xiàn)全域同步。節(jié)點(diǎn)機(jī)上網(wǎng)絡(luò)同步和分區(qū)時(shí)間同步的實(shí)現(xiàn)是建立在網(wǎng)絡(luò)同步的基礎(chǔ)上，利用分區(qū)調(diào)度表切換的方式實(shí)現(xiàn)了分區(qū)間時(shí)間同步。

　　5 測(cè)試與驗(yàn)證

　　為了進(jìn)一步驗(yàn)證該構(gòu)型計(jì)算機(jī)的容錯(cuò)能力，建立了一個(gè)集開發(fā)、系統(tǒng)仿真、測(cè)試及綜合為一體的容錯(cuò)計(jì)算機(jī)綜合測(cè)試、驗(yàn)證及演示平臺(tái)。平臺(tái)支持余度容錯(cuò)計(jì)算機(jī)的設(shè)計(jì)與分析、軟件開發(fā)、系統(tǒng)綜合和測(cè)試、以及演示驗(yàn)證的功能，實(shí)現(xiàn)對(duì)容錯(cuò)計(jì)算機(jī)系統(tǒng)的研究，包括軟/硬件測(cè)試方法、故障檢測(cè)方法、故障隔離方法、故障恢復(fù)方法等方面的研究。同時(shí)，可對(duì)容錯(cuò)計(jì)算機(jī)系統(tǒng)提出定量的分析，包括在采用不同的處理器系列、不同的余度結(jié)構(gòu)的容錯(cuò)計(jì)算機(jī)下，系統(tǒng)的可靠性分析、可用性分析、維護(hù)性分析。

　　在上述測(cè)試驗(yàn)證平臺(tái)下，完成了對(duì)TTE網(wǎng)絡(luò)關(guān)鍵技術(shù)的測(cè)試和驗(yàn)證，包括測(cè)試系統(tǒng)的網(wǎng)絡(luò)通訊能力、數(shù)據(jù)備份傳輸功能和容錯(cuò)能力消息收發(fā)的波形示例。對(duì)三節(jié)點(diǎn)高可靠分布式容錯(cuò)計(jì)算機(jī)的測(cè)試，驗(yàn)證了三節(jié)點(diǎn)系統(tǒng)架構(gòu)滿足飛機(jī)的飛行控制與管理基本功能，對(duì)接口故障、處理器故障的容錯(cuò)功能測(cè)試，證明系統(tǒng)具備至少2次故障工作的能力，對(duì)故障靜默等能力的測(cè)試，證明系統(tǒng)可用性等性能指標(biāo)滿足要求，解決了當(dāng)系統(tǒng)發(fā)生故障時(shí)，在系統(tǒng)現(xiàn)有資源狀況下，在保證系統(tǒng)關(guān)鍵任務(wù)的條件下，系統(tǒng)功能的緩慢降級(jí)，達(dá)到系統(tǒng)當(dāng)前資源與系統(tǒng)工作模式的最佳匹配，從提高重構(gòu)決策速度及提高關(guān)鍵數(shù)據(jù)管理水平兩方面著手提高故障恢復(fù)速度及完整。

　　6 結(jié)束語

　　高度功能綜合、網(wǎng)絡(luò)化、分布式的計(jì)算機(jī)系統(tǒng)將是容錯(cuò)計(jì)算機(jī)發(fā)展的顯著特征。本文圍繞先進(jìn)航空飛行器對(duì)分布式計(jì)算機(jī)系統(tǒng)的需求進(jìn)行了分析，提出了高可靠分布式容錯(cuò)計(jì)算機(jī)的構(gòu)架建議，重點(diǎn)對(duì)TTE網(wǎng)絡(luò)、成員一致性保證以及余度同步等關(guān)鍵技術(shù)給出了解決途徑，為后續(xù)工程研制提供了有效思路。

【試談高可靠分布式錯(cuò)計(jì)算機(jī)架構(gòu)的研究論文】相關(guān)文章：

試談?dòng)?jì)算機(jī)的實(shí)操教學(xué)研究論文10-10

計(jì)算機(jī)網(wǎng)絡(luò)可靠性研究論文10-09

計(jì)算機(jī)網(wǎng)絡(luò)可靠性提升研究論文10-09

計(jì)算機(jī)網(wǎng)絡(luò)可靠性方法研究論文10-09

試談?dòng)?jì)算機(jī)的數(shù)據(jù)安全10-26

計(jì)算機(jī)系統(tǒng)的可靠性運(yùn)行技術(shù)分析研究的論文10-09

談電氣自動(dòng)化設(shè)備的可靠性論文10-10

基于GABP算法的計(jì)算機(jī)復(fù)雜網(wǎng)絡(luò)可靠性評(píng)估方法研究論文10-08

計(jì)算機(jī)網(wǎng)絡(luò)可靠性研究10-26

試談?dòng)?jì)算機(jī)Linux網(wǎng)絡(luò)操作系統(tǒng)特點(diǎn)及服務(wù)器配置論文10-08