隨著人工智能和5G網(wǎng)絡(luò)的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。
隨著人工智能和5G網(wǎng)絡(luò)的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。
數(shù)據(jù)中心承載的網(wǎng)絡(luò)轉(zhuǎn)發(fā)數(shù)據(jù)量越來越大,建設(shè)高性能網(wǎng)絡(luò)勢在必行。以往我們將目光都集中在了軟件定義網(wǎng)絡(luò)技術(shù)的普及、100G/400G單端口帶寬的提升等方面的新技術(shù),而忽略了性能。一個網(wǎng)絡(luò)的性能高低與每個環(huán)節(jié)都休戚相關(guān),并不是簡單地將網(wǎng)絡(luò)出口由10G換成40G或100G就能改變的,從流量訪問一直到應(yīng)用軟件的處理都需要提升,最大的瓶頸在哪里?搞過網(wǎng)絡(luò)技術(shù)的人都知道,對于一個交換機,其上的端口能做線速轉(zhuǎn)發(fā)是基本要求,但對于服務(wù)器來說就很困難,一個1G網(wǎng)卡的服務(wù)器,處理流量能達(dá)到800M就相當(dāng)不錯了,這是因為服務(wù)器收到數(shù)據(jù)流量還要解析(交換機往往做三層解析就足夠,而且是由專門芯片來完成,不消耗CPU資源),將每個報文的內(nèi)容都要解析出來,然后提供給應(yīng)用層軟件,例如圖1:
圖1:RDMA與TCP/IP技術(shù)對比圖
圖1中右側(cè)是經(jīng)典的TCP/IP協(xié)議,是數(shù)據(jù)中心內(nèi)部數(shù)據(jù)傳輸網(wǎng)絡(luò)使用的唯一網(wǎng)絡(luò)協(xié)議,分為五層,其中藍(lán)色標(biāo)記的代表硬件部分,紅色標(biāo)記的代表是系統(tǒng)軟件部分,綠色標(biāo)記的代表是應(yīng)用軟件部分。在TCP/IP的網(wǎng)絡(luò)世界里,一個服務(wù)器網(wǎng)卡接收到一個數(shù)據(jù)報文,要經(jīng)過網(wǎng)絡(luò)層和傳輸層,再送給應(yīng)用層,網(wǎng)絡(luò)和傳輸層就要消耗CPU資源,由CPU來查詢內(nèi)存地址,檢驗CRC,還原TCP包到應(yīng)用,占用CPU緩存,單位時間內(nèi)進(jìn)來的報文數(shù)量越多,消耗CPU的資源就越多,CPU除了處理數(shù)據(jù)報文還要運行其它的應(yīng)用,CPU并不是完全平穩(wěn)運行的,CPU的高低波動也會影響處理報文的速度,從而影響網(wǎng)絡(luò)傳輸性能。左側(cè)是RDMA技術(shù),最大的突破是將網(wǎng)絡(luò)層和傳輸層放到了硬件中,服務(wù)器的網(wǎng)卡上來實現(xiàn),數(shù)據(jù)報文進(jìn)入網(wǎng)卡后,在網(wǎng)卡硬件上就完成四層解析,直接上送到應(yīng)用層軟件,四層解析CPU無需干預(yù),這就是RDMA能帶來低延時、高帶寬和低CPU利用率的根本原因,也是RDMA技術(shù)的吸引人之處。利用RDMA技術(shù),可以將網(wǎng)卡的帶寬利用率大幅提升,一個擁有1G網(wǎng)卡的服務(wù)器,使用RDMA技術(shù),應(yīng)用軟件處理的數(shù)據(jù)速度就可以接近1G。服務(wù)器可以將幾乎100%的CPU資源都提供給計算,降低了CPU在網(wǎng)絡(luò)協(xié)議處理中的占用率,服務(wù)器可以利用這些CPU資源來做更多計算或提供其他的服務(wù),相當(dāng)于增加了虛擬機數(shù)量,節(jié)省了服務(wù)器資源。
RDMA技術(shù)的全稱叫做RemoteDirectMemoryAccess,即遠(yuǎn)程直接數(shù)據(jù)存取,就是為解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)卡將數(shù)據(jù)直接傳入服務(wù)器的存儲區(qū),不對操作系統(tǒng)造成任何影響,消除了外部存儲器復(fù)制和文本交換操作,解放內(nèi)存帶寬和CPU資源。當(dāng)一個應(yīng)用執(zhí)行RDMA讀或?qū)懻埱髸r,不執(zhí)行任何數(shù)據(jù)復(fù)制。在不需要任何內(nèi)核內(nèi)存參與的條件下,RDMA請求從運行在用戶空間中的應(yīng)用中發(fā)送到本地網(wǎng)卡,然后經(jīng)過網(wǎng)絡(luò)傳送到遠(yuǎn)程服務(wù)器網(wǎng)卡。RDMA最早專屬于Infiniband架構(gòu),隨著在網(wǎng)絡(luò)融合大趨勢下出現(xiàn)了RoCE(RDMAoverConvergedEthernet)和iWARP(RDMAoverTCP/IP),這使高速、超低延時、極低CPU使用率的RDMA得以部署在目前使用最廣泛的數(shù)據(jù)中心網(wǎng)絡(luò)上。三種技術(shù)都是在網(wǎng)絡(luò)設(shè)備側(cè)實現(xiàn),用來和支持RDMA的網(wǎng)卡進(jìn)行適配,識別和轉(zhuǎn)發(fā)RDMA報文。InfiniBand采用Cut-Through轉(zhuǎn)發(fā)模式,減少轉(zhuǎn)發(fā)時延,基于Credit流控機制,保證無丟包。RoCE性能與IB網(wǎng)絡(luò)相當(dāng),DCB特性保證無丟包,需要網(wǎng)絡(luò)支持DCB特性,但時延比IB交換機時延稍高一些。iWARP則是利用成熟IP網(wǎng)絡(luò),繼承RDMA優(yōu)點,但如果采用傳統(tǒng)IP網(wǎng)絡(luò)丟包對性能影響大。圖2列舉了三種技術(shù)的對比情況:
圖2:三種RDMA技術(shù)對比
從圖2中可以看到,IB是低延時網(wǎng)絡(luò)交換機的專有技術(shù),一般延時可達(dá)到140ns,應(yīng)用程序延時3μs,比普通網(wǎng)絡(luò)設(shè)備延時要低一個量級,但價格奇貴,一般是普通網(wǎng)絡(luò)設(shè)備的五到十倍,只有在金融、期貨交易環(huán)境中才會考慮使用,畢竟全部采用在技術(shù)和成本方面花費太高。為了降低應(yīng)用成本,IB組織在IB協(xié)議基礎(chǔ)上增加了適用于以太網(wǎng)的協(xié)議:RoCE和iWARP。使用這兩類協(xié)議就可以通過普通的以太網(wǎng)硬件組網(wǎng)。iWARP技術(shù)的主要問題在于穩(wěn)定性,一旦網(wǎng)絡(luò)有丟包,性能會奇差,而iWARP就是基于以太網(wǎng)協(xié)議實現(xiàn)的,以太網(wǎng)協(xié)議不可能沒有丟包,這使得iWARP技術(shù)沒有了應(yīng)用空間。IB性能最好,RoCE則用得最多,RoCE是伴隨著RDMA技術(shù)才普及起來的,相比于IB技術(shù),RoCE技術(shù)仍基于以太網(wǎng)實現(xiàn),但是增加了丟包控制機制,確保以太網(wǎng)處于一個無丟包的狀態(tài),雖然延時比IB差些,但部署成本要低得多,而且在這樣的網(wǎng)絡(luò)中,RDMA才是主角,通過服務(wù)器網(wǎng)卡來實現(xiàn)RDMA,網(wǎng)絡(luò)設(shè)備只要通過RoCE技術(shù)配合實現(xiàn)就行,關(guān)鍵還是靠RDMA來降低時延。
隨著人工智能和5G網(wǎng)絡(luò)的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。RDMA技術(shù)作為一種先進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式映入眼簾,引起了強烈關(guān)注。與傳統(tǒng)網(wǎng)絡(luò)相比,RDMA可更加顯著地提升應(yīng)用效率,提供高性能的網(wǎng)絡(luò)傳輸。RDMA這么好,為什么還沒有普及呢,仍只在HPC中有些應(yīng)用,主要還是價格因素,現(xiàn)如今已經(jīng)出現(xiàn)了像RoCE這樣兼容以太網(wǎng)的技術(shù),相信在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域,RDMA會真正的開花結(jié)果,尤其在存儲領(lǐng)域,IP存儲已經(jīng)看上了RDMA,很多互聯(lián)網(wǎng)公司均開始考慮現(xiàn)在存儲網(wǎng)絡(luò)中部署RDMA,然后慢慢向其它網(wǎng)絡(luò)部分延伸。
文章編輯:CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領(lǐng)域產(chǎn)品研發(fā)生產(chǎn)超五類,六類,七類線,屏蔽模塊,配線架及相關(guān)模塊配件的研發(fā)和生產(chǎn)。
?2016-2019寧波科博通信技術(shù)有限公司版權(quán)所有浙ICP備16026074號