摘 要

為實(shí)現(xiàn)算力和網(wǎng)絡(luò)資源的統(tǒng)一納管和融合路由調(diào)度，業(yè)界已經(jīng)進(jìn)行了積極的研究和探索，并推動(dòng)制定了算網(wǎng)融合的整體框架，具體的技術(shù)和標(biāo)準(zhǔn)也在研究和制定，但由于涉及到異構(gòu)算力的統(tǒng)一度量和算力交易等流程，實(shí)現(xiàn)復(fù)雜度較高，建議基于現(xiàn)有云、算側(cè)和網(wǎng)側(cè)的調(diào)度系統(tǒng)以及SRv6、APN、CFN、RDMA等關(guān)鍵技術(shù)，采用邊研究邊實(shí)踐的策略，分3個(gè)階段逐步推進(jìn)，最終實(shí)現(xiàn)算網(wǎng)融合的目標(biāo)架構(gòu)。

引 言

“東數(shù)西算”工程是我國(guó)為促進(jìn)信息基礎(chǔ)設(shè)施優(yōu)化升級(jí)、推動(dòng)數(shù)字經(jīng)濟(jì)加速發(fā)展而提出的一項(xiàng)重大戰(zhàn)略工程，而“東數(shù)西算”工程要實(shí)現(xiàn)算力全國(guó)調(diào)度，就需要算網(wǎng)融合的支撐。所謂算網(wǎng)融合，是以通信網(wǎng)絡(luò)設(shè)施和計(jì)算設(shè)施的融合發(fā)展為基礎(chǔ)，通過計(jì)算、存儲(chǔ)及網(wǎng)絡(luò)資源統(tǒng)一編排管控，滿足業(yè)務(wù)對(duì)網(wǎng)絡(luò)和算力靈活泛在、彈性敏捷需求的一種新型業(yè)務(wù)模式。在此背景下，算網(wǎng)融合的架構(gòu)和技術(shù)成為業(yè)界研究熱點(diǎn)。

0 1

算網(wǎng)已有架構(gòu)和調(diào)度技術(shù)分析

1.1 算網(wǎng)融合是實(shí)現(xiàn)云、算、網(wǎng)資源的統(tǒng)一管理和調(diào)度

算網(wǎng)融合本質(zhì)上希望打破云計(jì)算、存儲(chǔ)資源和網(wǎng)絡(luò)資源各自獨(dú)立、無法協(xié)同的現(xiàn)狀。運(yùn)營(yíng)主體和服務(wù)方式方面，算網(wǎng)融合的運(yùn)營(yíng)者除電信運(yùn)營(yíng)商之外，還有云廠商和第三方企業(yè)；運(yùn)營(yíng)者可提供多樣化網(wǎng)絡(luò)接入，具備算力感知、一體化管理和編排調(diào)度能力，可實(shí)現(xiàn)算網(wǎng)服務(wù)的彈性供給、自主定制、隨需交易；支撐技術(shù)方面，算網(wǎng)融合既需要SDN、NFV以及轉(zhuǎn)發(fā)面的VxLAN、EVPN、SR/SRv6等現(xiàn)有技術(shù)的增強(qiáng)，也需要新技術(shù)如算網(wǎng)統(tǒng)一度量和交易、編排調(diào)度、算力資源發(fā)布以及APN6、CFN、RDMA等技術(shù)的支撐。

1.2 云、算側(cè)資源管理與調(diào)度架構(gòu)

隨著以容器和微服務(wù)為代表的云原生技術(shù)的發(fā)展，算力資源統(tǒng)一管理和調(diào)度技術(shù)成為目前行業(yè)研究熱點(diǎn)，當(dāng)前應(yīng)用較多的算力調(diào)度系統(tǒng)以超算和HPC的資源調(diào)度為主，主要有IBM公司的LFS、Altair公司的PBS pro以及開源的Slurm等。面向大模型訓(xùn)練等智算場(chǎng)景，微軟在其CycleCloud上將超算算力調(diào)度系統(tǒng)和云的Kubernetes進(jìn)行結(jié)合，為用戶提供可專用于AI大模型訓(xùn)練的環(huán)境。此外國(guó)內(nèi)企業(yè)也已經(jīng)開始了對(duì)算力調(diào)度系統(tǒng)的研究，并推出了如Quick Pool、SkyForm等產(chǎn)品。Slurm在科研機(jī)構(gòu)和院校中應(yīng)用較多，其架構(gòu)如圖1所示，采用Slurmctld服務(wù)監(jiān)測(cè)資源和作業(yè)。各計(jì)算節(jié)點(diǎn)啟動(dòng)Slurmd守護(hù)進(jìn)程，被作為遠(yuǎn)程shell使用（等待作業(yè)、執(zhí)行作業(yè)、返回狀態(tài)、再等待更多作業(yè)）。

圖1 Slurm架構(gòu)

SlurmDBD（Slurm DataBase Daemon）數(shù)據(jù)庫守護(hù)進(jìn)程，將多個(gè)Slurm管理的集群的記賬信息記錄在同一個(gè)數(shù)據(jù)庫中。用戶可以使用一系列命令工具如Srun（運(yùn)行作業(yè)）等對(duì)作業(yè)進(jìn)行管理。另外還可以通過Slurmrestd（Slurm REST API Daemon）服務(wù)，使用REST API與Slurm進(jìn)行交互。節(jié)點(diǎn)是Slurm調(diào)度的單位之一，每個(gè)節(jié)點(diǎn)都有自己的資源，如CPU、內(nèi)存、GPU等。節(jié)點(diǎn)由Slurm自動(dòng)分配給作業(yè)，通常只需要用戶指定數(shù)量。但如果有特別的需要，用戶也可以直接給定節(jié)點(diǎn)列表或者用參數(shù)排除一些節(jié)點(diǎn)。

Kubernetes也是一個(gè)開源平臺(tái)，用于管理容器化的工作負(fù)載和服務(wù)，在大規(guī)模集群的資源管理中應(yīng)用廣泛（見圖2）。Pod是在Kubernetes集群中運(yùn)行部署應(yīng)用或服務(wù)的最小單元，可支持多容器。Node節(jié)點(diǎn)主要作為計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)本地Pod的部署運(yùn)行和相關(guān)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的納管。在Kubernetes中，通過調(diào)度將Pod放置到合適的Node節(jié)點(diǎn)上，調(diào)度器通過Kubernetes的監(jiān)測(cè)機(jī)制來發(fā)現(xiàn)集群中尚未被調(diào)度到節(jié)點(diǎn)上的Pod。它會(huì)依據(jù)提前設(shè)置的調(diào)度原則來做出調(diào)度選擇。kube-scheduler是Kubernetes集群的默認(rèn)調(diào)度器。

圖2 Kubernetes集群的組件

kube-scheduler給一個(gè)Pod做調(diào)度選擇時(shí)包含過濾和打分2個(gè)步驟，其中過濾階段會(huì)過濾掉候選節(jié)點(diǎn)中不滿足可用資源需求的節(jié)點(diǎn)，形成可調(diào)度節(jié)點(diǎn)列表，而打分階段，調(diào)度器會(huì)根據(jù)預(yù)設(shè)的打分規(guī)則為每一個(gè)可調(diào)度節(jié)點(diǎn)打分，最終選出一個(gè)最合適的節(jié)點(diǎn)來運(yùn)行Pod。在做調(diào)度決定時(shí)需要考慮的因素包括單獨(dú)和整體的資源請(qǐng)求、硬件/軟件/策略限制、親和以及反親和要求、數(shù)據(jù)局部性、負(fù)載間的干擾等。

1.3 網(wǎng)側(cè)資源管理與調(diào)度架構(gòu)

VxLAN+EVPN方案是數(shù)據(jù)中心網(wǎng)絡(luò)的重要部署方案。VxLAN技術(shù)通過將原始報(bào)文封裝在UDP報(bào)文中，可以將傳統(tǒng)的二層網(wǎng)絡(luò)擴(kuò)展到三層網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬化，提高網(wǎng)絡(luò)的可擴(kuò)展性和靈活性。EVPN技術(shù)則是一種基于BGP的以太網(wǎng)虛擬專用網(wǎng)技術(shù)，利用EVPN構(gòu)建VxLAN的控制平面，解決VxLAN需要通過泛洪的方式學(xué)習(xí)終端主機(jī)地址的問題，從而提供跨數(shù)據(jù)中心的數(shù)據(jù)傳輸和VPN服務(wù)。

同時(shí)，VxLAN和SDN聯(lián)合部署已經(jīng)成為智能化云數(shù)據(jù)中心的必要組件，VxLAN作為數(shù)據(jù)平面解耦租戶網(wǎng)絡(luò)和物理網(wǎng)絡(luò)，SDN將租戶的控制能力集成到云管平臺(tái)，與計(jì)算、存儲(chǔ)資源聯(lián)合調(diào)度，提升了數(shù)據(jù)中心內(nèi)業(yè)務(wù)承載的靈活性（見圖3）。

圖3 SDN+VxLAN數(shù)據(jù)中心網(wǎng)絡(luò)承載方案

1.4 小結(jié)

云、算側(cè)算力調(diào)度系統(tǒng)實(shí)現(xiàn)了集群內(nèi)算力任務(wù)和容器化資源的調(diào)度管理，在進(jìn)行負(fù)載均衡時(shí)可以考慮CPU、內(nèi)存和網(wǎng)絡(luò)帶寬利用率等因素，并且通過調(diào)度算法的不斷優(yōu)化，使得集群內(nèi)節(jié)點(diǎn)的利用率更高，但是這里的網(wǎng)絡(luò)資源信息還相對(duì)粗放，沒有精確的帶寬、時(shí)延等信息，使得用戶獲取到的算力服務(wù)路徑不一定是最優(yōu)路徑，這個(gè)問題同樣存在于DNS域名解析服務(wù)器進(jìn)行終端請(qǐng)求的應(yīng)答過程中。

在網(wǎng)絡(luò)側(cè)，VxLAN+EVPN作為Overlay的方案，較好地解決了數(shù)據(jù)中心間虛機(jī)遷移的問題，但同時(shí)也存在無法支撐將Underlay網(wǎng)絡(luò)資源的信息與算力資源信息融合到一起進(jìn)行調(diào)度的問題，所以為了更好地支撐算網(wǎng)融合，需要SRv6等更具有潛力的網(wǎng)絡(luò)技術(shù)。另外，針對(duì)AI分布式訓(xùn)練和HPC高性能計(jì)算場(chǎng)景，RDMA技術(shù)也已經(jīng)被廣泛應(yīng)用于智算集群內(nèi)的互聯(lián)。

0 2

算網(wǎng)融合目標(biāo)架構(gòu)和關(guān)鍵技術(shù)分析

2.1 整體目標(biāo)架構(gòu)相關(guān)標(biāo)準(zhǔn)進(jìn)展

中國(guó)三大運(yùn)營(yíng)商、設(shè)備商、服務(wù)器廠商等在CCSA立項(xiàng)了《算力網(wǎng)絡(luò)總體技術(shù)要求》，目前已完成報(bào)批稿，主要規(guī)定了算力網(wǎng)絡(luò)的總體技術(shù)架構(gòu)和技術(shù)要求，包括算力網(wǎng)絡(luò)的總體架構(gòu)和接口描述，以及算力服務(wù)技術(shù)要求、算力路由技術(shù)要求、算網(wǎng)編排管理技術(shù)要求等，其中算力網(wǎng)絡(luò)總體功能邏輯架構(gòu)如圖4所示。

圖4 算力網(wǎng)絡(luò)總體功能邏輯架構(gòu)

為了實(shí)現(xiàn)對(duì)算力和網(wǎng)絡(luò)的感知、互聯(lián)和協(xié)同調(diào)度，算力網(wǎng)絡(luò)架構(gòu)體系從邏輯功能上劃分為算力服務(wù)層、算力路由層、算網(wǎng)管理層、算網(wǎng)基礎(chǔ)設(shè)施層四大功能模塊，具體如下。

a）算力服務(wù)層。提供算力的各類能力及應(yīng)用，并將用戶對(duì)業(yè)務(wù)SLA的請(qǐng)求（包括算力請(qǐng)求等參數(shù)）傳遞給算力路由層。

b）算力路由層?；诔橄蠛蟮挠?jì)算資源發(fā)現(xiàn)，實(shí)現(xiàn)對(duì)算力節(jié)點(diǎn)的資源信息感知；另一方面，通過在用戶請(qǐng)求中攜帶業(yè)務(wù)需求，實(shí)現(xiàn)對(duì)用戶業(yè)務(wù)需求的感知。綜合考慮用戶業(yè)務(wù)請(qǐng)求、網(wǎng)絡(luò)信息和算力資源信息，將業(yè)務(wù)靈活按需調(diào)度到不同的算力節(jié)點(diǎn)中，同時(shí)將計(jì)算結(jié)果反饋到算力服務(wù)層。算力路由層的部署實(shí)現(xiàn)支持集中式方式和分布式方式。

c）算網(wǎng)編排管理層。實(shí)現(xiàn)對(duì)算力服務(wù)的運(yùn)營(yíng)與編排管理、對(duì)算力路由的管理、對(duì)算力資源的管理以及對(duì)網(wǎng)絡(luò)資源的管理，其中算力資源管理包括基于統(tǒng)一的算力度量衡體系，完成對(duì)算力資源的統(tǒng)一抽象描述，進(jìn)而實(shí)現(xiàn)對(duì)算力資源的度量與建模、注冊(cè)和OAM管理等功能；以支持網(wǎng)絡(luò)對(duì)算力資源的可感知、可度量、可管理和可控制。

d）算網(wǎng)基礎(chǔ)設(shè)施層。為滿足新興業(yè)務(wù)的多樣性計(jì)算需求，基于提供信息傳輸?shù)木W(wǎng)絡(luò)基礎(chǔ)設(shè)施，在網(wǎng)絡(luò)中提供泛在異構(gòu)計(jì)算資源，包括單核CPU、多核CPU、CPU+GPU+FPGA等多種算力組合。其中算網(wǎng)基礎(chǔ)設(shè)施層作為算力網(wǎng)絡(luò)的新型基礎(chǔ)設(shè)施層，算力服務(wù)層、算力路由層和算網(wǎng)編排管理層作為實(shí)現(xiàn)算力網(wǎng)絡(luò)可感、可控、可管的三大核心功能模塊，實(shí)現(xiàn)對(duì)算力和網(wǎng)絡(luò)資源的感知、控制和管理。

2.2 支撐算力運(yùn)營(yíng)和交易的關(guān)鍵技術(shù)

2.2.1 算力資源建模，包含算力度量、算力分級(jí)等

算力是設(shè)備或平臺(tái)為完成某種業(yè)務(wù)所具備的處理業(yè)務(wù)信息的關(guān)鍵核心能力，根據(jù)所運(yùn)行算法和所涉及的數(shù)據(jù)計(jì)算類型不同，可將算力分為邏輯運(yùn)算能力、并行計(jì)算能力和神經(jīng)網(wǎng)絡(luò)計(jì)算能力。算力的統(tǒng)一量化是算力調(diào)度、使用的基礎(chǔ)。對(duì)不同的計(jì)算類型，不同廠商的芯片有各自不同的設(shè)計(jì)，這就涉及異構(gòu)算力的統(tǒng)一度量。不同芯片所提供的算力可通過度量函數(shù)映射到統(tǒng)一的量綱。

算力分級(jí)可以供算力提供者設(shè)計(jì)業(yè)務(wù)套餐時(shí)參考，也可作為算力平臺(tái)設(shè)計(jì)者在設(shè)計(jì)算力網(wǎng)絡(luò)平臺(tái)時(shí)對(duì)算力資源的選型依據(jù)。智能應(yīng)用對(duì)算力的訴求主要是浮點(diǎn)計(jì)算能力，因此業(yè)務(wù)所需浮點(diǎn)計(jì)算能力的大小可作為算力分級(jí)的依據(jù)。當(dāng)前算力可分為超大型算力、大型算力、中型算力和小型算力4個(gè)等級(jí)。

2.2.2 算力交易

泛在計(jì)算的算力交易平臺(tái)是一套基于區(qū)塊鏈的去中心化、低成本、保護(hù)隱私的可信平臺(tái)。平臺(tái)的計(jì)算節(jié)點(diǎn)由多種形態(tài)的算力設(shè)備組成，包含大型GPU設(shè)備或FPGA服務(wù)器集群、中小型企業(yè)閑散的空余服務(wù)器及個(gè)人閑置的計(jì)算節(jié)點(diǎn)等。平臺(tái)可以實(shí)現(xiàn)自動(dòng)算力交易、自動(dòng)算力匹配、費(fèi)用結(jié)算功能。在算力賣家向算力買家提供服務(wù)的過程中，后者提出使用請(qǐng)求，算力交易平臺(tái)根據(jù)用戶需求自動(dòng)尋找、匹配算力節(jié)點(diǎn)，并生成相應(yīng)的賬單；在得到買家認(rèn)可后，平臺(tái)調(diào)度相應(yīng)的算力資源為買家提供服務(wù)，隨后執(zhí)行算力業(yè)務(wù)的節(jié)點(diǎn)根據(jù)提供的算力獲得相應(yīng)的報(bào)酬。

2.3 支撐算網(wǎng)資源融合管理調(diào)度的關(guān)鍵技術(shù)

2.3.1 算網(wǎng)轉(zhuǎn)發(fā)技術(shù)——SRv6

SRv6是源路由技術(shù)的一種，它采用現(xiàn)有的IPv6轉(zhuǎn)發(fā)技術(shù)，通過靈活的IPv6擴(kuò)展頭，實(shí)現(xiàn)網(wǎng)絡(luò)可編程。

為了實(shí)現(xiàn)SRv6轉(zhuǎn)發(fā)，需要向IPv6報(bào)文中插入一個(gè)段路由頭（Segment Routing Header，SRH）的擴(kuò)展頭，存儲(chǔ)IPv6的Segment List信息。報(bào)文轉(zhuǎn)發(fā)時(shí)，依靠Segments Left和Segment List字段共同決定IPv6目的地址（IPv6 DA）信息，從而指導(dǎo)報(bào)文的轉(zhuǎn)發(fā)路徑和行為。未經(jīng)壓縮的SRv6 SID是128位，主要由標(biāo)識(shí)節(jié)點(diǎn)位置的LOC字段（IPv6前綴格式，可路由）、標(biāo)識(shí)服務(wù)和功能的FUNC字段（本地識(shí)別）以及ARG字段3個(gè)部分組成。

SRv6網(wǎng)絡(luò)編程標(biāo)準(zhǔn)中，SRv6節(jié)點(diǎn)（Endpoint）通過本地定義的行為（Behavior）處理SRv6報(bào)文。SRv6定義了多種Endpoint Behavior，每個(gè)節(jié)點(diǎn)需要實(shí)例化它們并分配SID，同時(shí)通過路由協(xié)議發(fā)布，以通知其他SRv6節(jié)點(diǎn)本節(jié)點(diǎn)能提供的Behavior。常用的Endpoint Behavior有END、END.X、END.DT4、END.DT6等，實(shí)現(xiàn)Underlay選路、Overlay業(yè)務(wù)承載等功能。

2.3.2 算網(wǎng)感知技術(shù)——APN6

APN6是在數(shù)據(jù)平面利用IPv6報(bào)文擴(kuò)展頭（Extension Headers），如逐跳選項(xiàng)頭（Hop-by-Hop Options Header）、段路由頭（Segment Ｒouting Header）的可編程空間，攜帶應(yīng)用的相關(guān)信息（標(biāo)識(shí)和需求）到網(wǎng)絡(luò)中，網(wǎng)絡(luò)設(shè)備依據(jù)這些信息為其提供相應(yīng)的網(wǎng)絡(luò)服務(wù)，如將報(bào)文映射進(jìn)相應(yīng)的能夠保障其SLA的SRv6路徑等。應(yīng)用感知信息可以由用戶終端設(shè)備或應(yīng)用直接生成，也可以由網(wǎng)絡(luò)邊緣設(shè)備生成，分別對(duì)應(yīng)APN6的主機(jī)側(cè)方案和網(wǎng)絡(luò)側(cè)方案。

2.3.3 算網(wǎng)融合路由技術(shù)——CFN

為了解決邊緣計(jì)算系統(tǒng)中網(wǎng)絡(luò)信息和算力信息割裂，無法統(tǒng)一納管和進(jìn)行最優(yōu)資源調(diào)度的問題，Yizhou Li等提出了CFN的概念，并在IETF提交了草案：Framework of Compute First Networking（CFN），架構(gòu)和原理如圖5所示。

圖5 CFN網(wǎng)絡(luò)拓?fù)?/strong>